Non so se ho ben capito ma se è così bastano modprobe <driver> ed rmmode <driver>.