devi spulciare un pò sulle classi del package swing. Ci sono varie classi come pannelli (per fare videate), campi di testo o textarea per visualizzare appunto del testo, mettere pulsanti e quan'altro.
In tal caso, ciò che scrivi tramite una System.out.println(...) dovrai farlo scrivere nella casella di testo o nella textarea (o anche in una label, che è una etichetta di testo).
Puoi anche mostrare finestrelle di messaggio (i classici alert).
Insomma, vai sulla guida della sun e cerca di questo package: lì trovi tutto.