Ciao e benvenuto!

Per lanciare programmi da una servlet/jsp devi utilizzare il metodo exec della classe Runtime: per usare questo metodo con Tomcat devi configurare in modo appropriato i permessi (leggi qui come fare)

Ovviamente però l'interfaccia grafica non si aprirà sul client ma sul server.

Per fare ciò che chiedi dovresti creare un'interfaccia grafica da scaricare che giri sul client, che si connetta tramite socket ad un'applicazione che gira sul server e che esegue la "logica applicativa".

Spero di essermi spiegato.