Finalmente sono riuscito a capire cos'era questa finestra...
Premesso che non è il tag TITLE, ma l'attributo ALT di quasi tutti i tag HTML, questa cosa si implementa utilizzando le api di Swing: tutti i JComponent (bottoni, caselle di testo, ecc..) prevedono il metodo setToolTipText():
codice:
JButton jb = new JButton("Pulsante");
jb.setToolTipText("Questo pulsante non fa niente");
Ciao.