ciao!

di per se non penso che il mod_rewrite rallenti.
mai sentita questa, e non mi è mai capitato su nessun server / sito su cui ho lavorato.

ma se parli di plugin, usate un cms suppongo.
magari è il plugin che rallenta.
hai provato ad usare un altro plugin?
o a disattivarlo per vedere se la velocità aumenta?