Personalmente, sconsiglio di utilizzare questo genere di pratica perché è sempre meglio delegare la gestione di un errore a uno specifico blocco Try...Catch preposto a questo scopo.

Ad ogni modo, forse potresti dare un'occhiata all'evento Application.ThreadException.

In generale, poi, esistono componenti di terze parti per gestire questa problematica a livello molto alto, ad esempio inviando automaticamente la segnalazione dell'errore a un bug tracker conosciuto, o a un indirizzo email, per mettere a conoscenza del bug lo sviluppatore che così può prendere i relativi provvedimenti.

Ciao!