Per fare quello che chiedi devi:

Menu Progetto ->Proprietà di Nome_Progetto
Scheda Applicazione->Combo Modalità di Arresto:- >Alla chiusura dell'ultimo form