Mmm, vedo che non conosci bene la gestione degli errori (che invece è una cosa fondamentale e di primaria importanza!)
Nessuno ti costringe né a mostrare il messaggio, né ad uscire per forza. Al contrario, puoi gestire l'eccezione.

Ti suggerisco di leggere questi:

La gestione degli errori in VB .NET | Guida Visual Basic .NET | .NET HTML.it
http://www.html.it/pag/15702/la-gest...ori-in-vb-net/

Istruzione Try...Catch...Finally (Visual Basic)
https://msdn.microsoft.com/it-it/library/fk6t46tz.aspx