Per prima cosa ti consiglierei di testare il risultato del metodo $mail->addReplyTo(), che dovrebbe essere true o false. Se è false significa che non gli è piaciuto quello che gli hai passato e lo ha rifiutato.
In secondo luogo potresti impostare PHPMailer per utilizzare direttamente smtp invece di mail(), che in teoria è la stessa cosa se sei su windows come immagino, ma così salteresti la funzione php che si sa mai vada a scombinare qualcosa.