Allora per farla un po' più completa, il discorso è un po' "peloso": come ti sarai reso conto anche tu, è facile far aprire il pdf, un po' più difficile chiudere il reader.
Per rendere l'apertura disponibile cross-platform, o semplicemente per coloro i quali non usano Adobe Acrobat Reader per leggere i PDF, puoi adoperare la classe Desktop.

Problema: se usi la classe Desktop, non hai un metodo close/destroy.
Problema: se non usi la classe Desktop, potresti non riuscire ad accontentare tutti gli utenti (certo se il programma deve girare solo un quella macchina, o solo su delle macchine configurate tutte allo stesso modo, stiamo parlando di fuffa: fai come ti viene più comodo con buona pace per la portabilità).

Altre alternative: embeddare il PDF direttamente nell'applicazione. Ti servono librerie come jpedal o icepdf oppure fa tu una ricerca.

In windows, potresti anche usare taskkill per acciaccare l'Acrobat Reader aperto...