Sì, crea il tuo JFrame e poi chiama setUndecorated(true).

Basta aprire la documentazione.