Se hai correttamente rilasciato ogni oggetto con il nothing, non mi curerei molto del resto. La memoria viene gestita in maniera molto complessa da Windows e quello che vedi allocato al processo VB e' molte volte il frutto di scelte temporanee da parte del sistema operativo.

Per capire se le cose vanno bene, dopo aver rilasciato tutti gli oggetti, prova a iconizzare l'applicazione e controllare quanta memoria utilizza.