Le cose sono due: o utilizzi una libreria apposita per i grafici (ce ne sono, ad esempio JFreeChart ma non è immediatissima da usare) oppure fai tutto "a mano" andando a disegnare su un componente (in Swing tipicamente estendendo JPanel) utilizzando la tecnica del custom painting.
Dipende comunque molto dal tipo di grafico, dal livello di qualità e di adattamento/generalizzazione che vuoi ottenere. Magari spiega meglio, a parole (o con un disegnino), cosa vuoi realizzare.