Hai ripetuto il test più volte sulla stessa pagina?

Inoltre considera una cosa importante, se hai codice Javascript nell'head questo blocca totalmente il caricamento della pagina per la maggior parte dei browser! Prova a spostarlo subito prima della chiusura del body cosi che il dom sia popolato e non ci sia più niente da caricare

Per quanto riguarda i tempi lunghi ci sarebbe da capire da cosa possono dipendere: per intenderci può benissimo essere il server eccessivamente carico a far rallentare le altre pagine, soprattutto se sei in hosting condiviso.

prova a fare un
echo `uptime`

se la macchina è linux, gli ultimi 3 valori indicano il carico della macchina