Penso anch'io... ma sicuramente non su una JLabel... a questo punto prova a dare un'occhiata al JEditorPane.

In alternativa, puoi "cavartela" aggiungendo qualcosa come questo:
codice:
JLabel label = new JLabel("Clicca qui");
label.addMouseListener( new MouseAdapter() {
   public void mouseClicked(MouseEvent me) {
      apriBrowser();
   }
   public void mouseExited(MouseEvent me) {
      ricambiaCursore();
   }
   public void mouseEntered(MouseEvent me) {
      cambiaCursore();
   }
});

...

private void cambiaCursore() {
   setCursor( new Cursor(Cursor.HAND_CURSOR) );
}

private void ricambiaCursore() {
   setCursor( new Cursor(Cursor.DEFAULT_CURSOR) );
}
Ciao.