non conosco molto VB, ma se crei una sub con un parametro che corrisponde a ciò che devi rimuovere?
poi associ un evento ad ogni bottone e richiami la sub passando il parametro.

oppure crei un unico evento per tutti i bottoni, e controlli quale bottone è stato premuto.
in base a quello, cancelli l'item.