purtroppo wordpress è estremamente esoso, anche se drupal lo batte non di poco.

L'unico consiglio che ti posso dare è di togliere i plugin inutili! Considera che 20mb di memoria è una valanga astronomica ... personalmente cerco di mantenere il mio target al di sotto di un mb per le pagine senza molti dati estratti e massimo 4 mb per le pagine con tanta roba.

Considera che se un server ha 2gb di memoria fisica di cui il sistema operativo per i vari software se ne tira, per esempio, 200mb, vuol dire che hai a disposizione 1848mb. 20MB per istanza vuol dire che puoi tenere circa 90 utenti contemporaneamente che è una buona cifra, anche se un po bassa nella media per un dedicato, prima di passare ad usare la swap.
Se però consideri che su quella macchina magari ci stanno altri 500/1000 siti quindi quei 2gb di memoria diventono pochissimi ed è probabile che già la macchina usi attivamente la swap con il risultato che il software, se è già lento e wordpress lo è, ed i plugin che ci girano su non sono velocissimi, viene ancora più rallentato dal fatto che la memoria fa avanti ed indietro dal disco fisico!