Non sono proprio un esperto di PHPMailer, comunque per la questione allegati penso proprio che il problema sia dovuto al fatto che la funzione AddAttachment accetta come primo argomento il path del file che è contenuto in $_FILE['allegatoX']['tmp_name'] e poi come secondo il nome del file da visualizzare nell'email cioè $_FILE['allegatoX']['name'].

Infatti non sò come qualche casella email ti potesse rilevare gli allegati usando quella sintassi.

In definitiva dovresti provare con

Codice PHP:
$mail->AddAttachment($_FILES['allegato_1']['tmp_name'],$_FILES['allegato_1']['name']); 
$mail->AddAttachment($_FILES['allegato_2']['tmp_name'],$_FILES['allegato_2']['name']); 
poi vedi se persiste anche il problema dello spam.

Ciao ciao