MsgBox è per compatibilità con VB6. Evitalo.
Application.Exit chiude l'applicazione, Me.Close chiude il form corrente, per cui se ci sono altri form aperti l'applicazione continua a girare.