Sorvolo sul fatto che si tratta di una Web Application e, come tale, andrebbe trattata nel forum ASP.NET......

E' probabile che gli oggetti creati per allegare il file o spedire il messaggio implementino IDisposable o abbiano un metodo che consente loro di "chiudere" le risorse utilizzate, per poter effettuare la cancellazione.

Verifica la documentazione MSDN per le classi utilizzate per vedere se vi sono indicazioni in merito.