Molto semplice...
Se tu hai due form aperti, il primo si chiama frm1, mentre il secondo si chiama frm2.
se tu metti un button nel frm2 per chiudere il frm2 e lasciare aperto il frm1 fai frm2.close,
mentre se vuoi uscire dall'applicazione, ovvero chiudere tutti i form aperti, fai application.exit.

In poche parole, FrmAvvio.close chiude solo il form FrmAvvio, mentre application.exit chiude tutti i form aperti.