Vorresti fare una cosa tipo disegno a mano libera?
Non e' semplicissimo, comunque una via da seguire puo' essere questa:
aggiungi alla JDialog un JPanel, del quale ridefinisci il metodo paintComponent. Questo JPanel fa anche da mouseListener e quando intercetta gli eventi del mouse che ti interessano, disegna le figure che ti servono con l'oggetto Graphics2D.