Originariamente inviato da Caleb
...
se pero' ha delle protezioni contro i robots ti attacchi
non so... wget ha anche l'opzione robots=off e con me ha funzionato: l'ho usato una volta ed è stato l'unico modo per scaricare tutti i (centinaia di) file di una directory (...oltre a modificare l'user agent, ecc...)

maggiori info
http://www.delorie.com/gnu/docs/wget/wget_41.html