Ciao Andrea,
grazie per la risposta.
Sì, quello che mi hai indicato già lo conosco. Magari conviene usare htmlunit per fare una cosa da zero che ti permetta di estrarre i link interni per i vari tag ecc. e scaricarli a loro volta
Cmq ho scoperto che esistono già applicazioni java per questo tipo di problema cercando semplicemente su google : java crawler