Che hosting e che tipo di server usi? Fanno la differenza, insieme all'uso di una buona cdn e w3 total cache che va benissimo per gestire tutti gli aspetti legati alla cache. Tutti questi aspetti, insieme ad una buona ottimizzazione e compressione delle immagini, meglio se fatta già off-site, concorrono a velocizzare wordpress.