Le cose sono due:

- l'SMTP che usi ha un mailserver moooolto lento (ad es. se ti appoggi al mail server del tuo provider ADSL, prova a cercare su google di altri utenti col tuo stesso problema).

- Apache configurato male (non chiedermi cosa o perchè ^^' )

In entrambi i casi non penso proprio che PHP centri qualcosa. Prova a chiedere nel forum di Apache o di Connettività (meglio Apache).