Guarda facendola sporca potresti anche intercettare il processo e chiuderlo con un Process.kill, il problema nasce se hai già in uso Excel per altre cose, in quel caso verrebbe chiuso anche quellio. Potresti forse intercettare il titolo della finestra di Excel e se corrisponde al tuo (forse il titolo della finestra nel tuo caso sarebbe una stringa vuota) e in quel caso chiudere il processo.
Prova.