se chai il modulo non devi ricompilare il kernel basta che lo aggiungi con modprobe, (vedi man modprobe), per caricarlo vai con insmod nomemodulo.o

prova a vedere che ti dice con lsusb magari è li il problema, magari semplicemente non ti riscontra il mouse usb lì.