Hai ragione, scusa, ho capito male.
Per fare quello che intendi tu dovresti ridefinire il metodo paintComponent del tuo JPanel, in modo che disegni un vettore di righe. Questo vettore (di dimensioni variabili) parte vuoto, e mano a mano che disegni le righe, memorizza le coordinate delle linee da disegnare. Cosi' facendo potresti anche implementare un metodo che le cancella, semplicemente togliendo elementi al vettore.
L'aggiunta degli elementi nel vettore va fatta in corrispondenza del rilascio del pulsante del mouse.