Dunque...
a quanto ho capito hai scelto di firmare l'applet ma non funzionano i comandi "jar" e "keytool", giusto?
La soluzione è semplice e banale: non hai settato correttamente la variabile PATH nella home del jdk.
Per farlo vai nel "pannello di controllo", cerca "variabili di ambiente", fai click su "Modifica le variabili di ambiente relative al sistema" (il link con lo scudetto dei diritti di amministratore), fai click sul bottone "Variabili d'ambiente", nella lista "Variabili di sistema" seleziona "Path" e fai click su modifica. respira. dopo aggiungi a "Path" il punto e virgola e la cartella bin del jdk (nel mio caso è C:\Program Files\Java\jdk1.8.0_05\bin).
Adesso prova ad eseguire "jar" o "keytool" e funzioneranno.....