Ti sei convinto che quello che ti mando non c'entri niente con quello che devi fare solo perché non fa direttamente quello che vuoi. Il punto è un altro: scrivere qui per non perdere tempo a leggere e/o mettere insieme un paio di cose. Liberissimo di farlo, ma si chiede una spiegazione su cosa non si ha chiaro, non sul fatto che non ho tempo/voglia di leggere gli esempi completi e funzionanti offerti da oracle e metterli in pratica e/o riadattarli ai miei scopi.

Detto questo, hai chiaro in testa COSA devi fare?
Ti ripeto, associare al componente JMenuItem un actionListener (e mi hai detto che bene o male con netbeans lo hai fatto).
L'actionListener (se sai cosa sono i listener e cosa fanno) al verificarsi di un evento (ActionEvent per la precisione) esegue delle righe di codice. Sei capace di mettere tra queste righe di codice un paio che ti servono ad istanziare un JDialog e visualizzarlo?
Se hai capito di cosa parlo, vedi che ti ho anche dato la soluzione, ti ho detto dove prendere il codice per copiarlo e ti assicuro che tra le pagine di oracle ne trovi che parlano di JDialog, come istanziarli e come usarli.

Se appronti un primo esempio di codice, una prima forma di quello che vuoi fare, vediamo di correggere quella, se ti scoccia cercare su web e/o leggere oracle è un altro paio di maniche. Arrabattare pezzi di codice qua e là non essendo capace di riadattare ai tuoi scopi quanto presente non ti porta lontano.

Inoltre stai attento anche che se usi l'editor grafico, tu non vedi direttamente (meglio dire in una forma user-friendly) le reali istruzioni che vengono eseguite per istanziare/settare i vari componenti.