Si può interromperlo in qualsiasi momento mettendo l'istruzione END ma è una cosa molto molto sconsigliata.
Il tuo Form4 è il form principale oppure è un form secondario ??
Se è il form principale, al posto di Application.Exit mettici un Me.Dispose,
se invece è un form secondario dovresti fare una cosa fatta bene, cioè il Form4 si chiude con Me.Close(), ritornando al form che l'ha chiamato un codice per avvisare il ciclo principale che il programma deve chiudersi.
Sergio