L'unica cosa che mi viene in mente e' questa (ma e' mera speculazione): forse stai utilizzando un client < 4.1 con un server > 4.1 ?

In questo caso e' possibile che ci sia un handshaking piu' lungo del dovuto, ma francamente 4 secondi mi sembrano ridicoli.

Prova a lanciare mysql da riga di comando dal .6 e vedi se la risposta e' istantanea. Se si', il problema e' della libreria PERL.