Response.Redirect("Pagina.aspx", false);

In questo modo l'esecuzione della pagina corrente viene terminata e nn ti viene restituita quell'eccezione.