Potresti provare a fare delle prove passo passo, rimuovendo i moduli che ritieni non necessari (modinfo nome_modulo) (che non ti sta usando (0)) con modprobe -r nome_modulo e vedere se davvero qualcosa, dal punto di vista delle performance, migliora.