[Java] Download pagina web

[biblio]

Salve,

esiste una qualche libreria java per il download di una pagina web da un generico URL che scarichi anche le eventuali risorse della pagina stessa come ad esempio CSS, immagini, ecc. e quindi la renda visualizzabile localmente con un browser (come ad esempio permette il comando WGET sotto Linux)?

Grazie,
biblio

[andbin]

Originariamente inviato da biblio
esiste una qualche libreria java per il download di una pagina web da un generico URL che scarichi anche le eventuali risorse della pagina stessa come ad esempio CSS, immagini, ecc. e quindi la renda visualizzabile localmente con un browser (come ad esempio permette il comando WGET sotto Linux)?

Se ci fosse, personalmente non la conosco. Parlando dal punto di vista tecnico, scaricare una qualunque singola risorsa dal web è triviale, basta fare un metodo come questo:

public static void downloadFromUrl (URL url, String localFilename, String userAgent)
    throws IOException
{
    InputStream is = null;
    FileOutputStream fos = null;

    try
    {
        URLConnection urlConn = url.openConnection ();
        urlConn.setRequestProperty ("User-Agent", userAgent);

        is = urlConn.getInputStream ();
        fos = new FileOutputStream (localFilename);

        byte[] buffer = new byte[1024];
        int len;

        while ((len = is.read (buffer)) > 0)
            fos.write (buffer, 0, len);
    }
    finally
    {
        try {
            if (is != null)
                is.close ();
        } finally {
            if (fos != null)
                fos.close ();
        }
    }
}

Scaricare una intera pagina web comprese tutte le risorse linkate, è decisamente meno facile perché si deve analizzare il documento html e cercare tutti i tag che fanno riferimento alle risorse esterne.

[biblio]

Ciao Andrea,

grazie per la risposta.

Sì, quello che mi hai indicato già lo conosco. Magari conviene usare htmlunit per fare una cosa da zero che ti permetta di estrarre i link interni per i vari tag ecc. e scaricarli a loro volta

Cmq ho scoperto che esistono già applicazioni java per questo tipo di problema cercando semplicemente su google : java crawler