Scaricare pagine web con Java

[kingforcella]

Buonasera a tutti!

Qualcuno sa suggerirmi qualche strumento da usare per poter creare un mio programma in Java che mi permetta di scaricarmi una pagina web (non solo il codice html, intendo tutta la pagina completa di css, immagini ecc.) in locale.

Non ho fini bellicosi, devo creare questo programmino che avuti in input una lista di url, scarichi le relative pagine e ne analizzi il contenuto rispetto a determinati indici qualitativi (dimensione immagini, valid. codice ecc.)
Se avete suggerimenti riguardo questo secondo punto, vi ringrazio.

Grazie mille!

[francoforte]

Ciao, cosa intendi per

strumento da usare per poter creare un mio programma in Java

?

Se ti riferisci ad un ambiente di sviluppo puoi usare NetBeans che è un ottimo IDE per creare programmi in Java (ed anche altri linguaggi).

Per leggere la pagina web puoi semplicemente fare così:

url = new URL("http://esempio.com/");
is = url.openStream();  // throws an IOException
dis = new DataInputStream(new BufferedInputStream(is));

while ((line = dis.readLine()) != null) {
    System.out.println(line);
}

Man mano che leggi la pagina, ogni url che trovi li memorizzi in una lista e successivamente lo vai a scaricare (così avrai anche le immagini, i css... ed ogni cosa vuoi scaricare).

[andbin]

Originariamente inviato da francoforte

dis = new DataInputStream(new BufferedInputStream(is));

while ((line = dis.readLine()) != null) {

Di norma non si usa DataInputStream per leggere "a righe" (quel readLine tra l'altro è deprecato).

[francoforte]

Originariamente inviato da andbin
Di norma non si usa DataInputStream per leggere "a righe" (quel readLine tra l'altro è deprecato).

Hai ragione, scusa. Mi correggo allora:

URL url = new URL("il_tuo_url");
InputStream is = url.openStream();
BufferedReader br = new BufferedReader(new InputStreamReader(is));
String line;

while ((line = br.readLine()) != null) {
    //gestisci line
}