dal mio PC firebug mi da chiamate di circa 200ms per il 'server veloce' e di circa 350ms per il 'server lento'

C'e' effettivamente una differenza ma non vedo tempi di 4-5 secondi come dici tu

Questa differenza puo' essere dovuta a 1000 cose

cerca di capire quanto tempo viene dedicato all'esecuzione dello script PHP (ad esempio facendo un echo date() all'inizio e alla fine dello script) e quanto alla trasmissione dei dati