ehm, mi pare che il kernel di installazione ha praticamente tutto inserito, o come statico o come modulo, il massimo che può succedere è che vengono caricate cose che non servono.
è più facile che il kernel si debba ricompilarlo se si fa da soli, basta cambiare un qualche pezzo di hardware e devi aggiungere il supporto.magari è più "pesante" così, ma completo lo è di sicuro