Vedendo i parametri che vuoi passare credo che tu ti aspetti qualcosa che accade, ma che non vedi accadere.

Perchè non ha alcun senso che l'applicazione non si avvii se aggiungi quei parametri (parlo per esperienza diretta, ho anche effettuato delle prove specifiche e garantisco che i parametri vengono correttamente passati).

Prova a verificare l'output del processo:

codice:
Process p = Runtime.getRuntime().exec(new String[]{"java","-jar",installPathfile, "-debug", "-nogui"});

InputStream is = p.getInputStream();
BufferedReader br = new BufferedReader( new InputStreamReader(is) );
String linea = null;
while((linea = br.readLine()) != null) {
   System.out.println( linea );
}
In questo modo catturi l'output del processo (quindi, qualunque eccezione eventualmente sollevata dal programma che stai avviando e a cui stai passando i parametri) e lo stampi nella console che ha avviato il main.


Ciao.