/etc/grub/grub.conf (oppure menu.lst) è il file su cui devi agire..

cancella o commenta la sezione relativa al vecchio kernel