Non conviene perchè questo richiederebbe a wordpress di includere molti più file ad ogni richiesta.
Visto che hai un server dedicato, la prima cosa che puoi fare per migliorare le performance è installare un sistema di caching del bytecode. In questo modo ridurrai sensibilmente i tempi di caricamento degli script.