Per prima cosa si tratta di un JOptionPane e non di un JOptionPanel (senza la L).
Seconda cosa... non capisco che senso ha un metodo che dovrebbe ritornare un JFrame (ma stiamo parlando di un applet... raramente si usano i JFrame nelle applet), che invece di tornare quello che dovrebbe, visualizza un JOptionPane e ritorna il nulla...
Ad ogni modo, il primo parametro della showMessageDialog è un Component, quindi dovrebbe essere passato il riferimento alla Applet (che è un Component!!), oppure null, in modo da fargli utilizzare il default Frame interno...

Infine, controlla di non mischiare componenti Swing con componenti AWT (la applet è una JApplet o una java.applet.Applet?)


Ciao.