Comando per wget

[Violet sky]

Vorrei usare wget da Knoppix per scaricare un intero sito. Più precisamente, c'è una pagina di index da scaricare, più tutti i link in questa pagina che vanno all'interno del sito stesso, più tutti i link dalle pagine in questione che vanno a altri siti ma solo per un passo.
Insomma... pagina index, pagine linkate dalla index, pagine linkate dalle altre pagine e basta.
Col man ci ho già provato e ci ho litigato furiosamente
Che comando devo dare per eseguire quest'azione?
Ah, mi interessano solo documenti html, immagini jpg e gif... tutto il resto non mi serve scaricato.

Grazie mille

[Ilmalcom]

Non vorrei dire una cagata perchè è da molto che non lo faccio, ma wget -m ?? Purtroppo non ho tempo di controllare

[Caleb]

a spanne:

wget -xErkp --level=10 nomesito

il level lo devi decidere tu in base alla profondita' dei link del sito

se pero' ha delle protezioni contro i robots ti attacchi

[alkat]

http://linux.html.it/tips/tips_13.htm

Un programma che ci viene incontro per fare velocemente un mirror di un sito è wget. Infatti l'opzione -m include una serie di opzioni standard per la copia speculare di interi siti. Può anche essere utile usare l'opzione -b per far eseguire wget in background. Esempio:

lnxbox1:~# wget -m -b http://www.html.it

Si occuperà di fare un mirror del nostro caro sito.

per dettagli qui:
http://www.chicercatrova2000.it/Linux/DownLoader.asp

[Violet sky]

Ok... mi sono dimenticato un dettaglio: devo impostarlo in modo che si connetta tramite un proxy... che comando è?

Edit: ho visto nel man che devo usare http_proxy=<proxy>... solo che non so come usarlo, dice che lo devo settare come environment variable...

:master:

[osiryx]

Il man di wget mi sembra abbastanza esplicito

Ok... mi sono dimenticato un dettaglio: devo impostarlo in modo che si connetta tramite un proxy... che comando è?

Edit: ho visto nel man che devo usare http_proxy=<proxy>... solo che non so come usarlo, dice che lo devo settare come environment variable...

~/.wgetrc

[Violet sky]

Ok, ora riesco a farlo funzionare per i siti normali.
Solo che non mi funziona in questo --> www.everything2.com
Anche se metto il livello a "inf" mi scarica solo index.html e robots.txt...
Qualche suggerimento?

[Reek Maah]

Originariamente inviato da Caleb
...
se pero' ha delle protezioni contro i robots ti attacchi

non so... wget ha anche l'opzione robots=off e con me ha funzionato: l'ho usato una volta ed è stato l'unico modo per scaricare tutti i (centinaia di) file di una directory (...oltre a modificare l'user agent, ecc...)

maggiori info
http://www.delorie.com/gnu/docs/wget/wget_41.html