Prova ad impostare il riferimento a Nothing. Sarà il Garbage Collector e chi di dovere a finalizzare l'oggetto, a meno che questo non rimanga istanziato per altri motivi (oggetti correlati esistenti, altri riferimenti, ecc.).