Originariamente inviato da thomas_anderson
Puoi provare su http://johnny.ihackstuff.com/ scarica il Gooscan o uno dei tanti CGI- scanner. Un'altra tecnica è quella di trovare il robots.txt, in cui in genere vengono indicate le directory escluse dall'indicizzazione. Puoi fare in due modi, sempre che sia linkato:

1. www.nomesito.it/robots.txt
a volte questa pagina non c'è, e ti da un errore 404. Questo errore riporta a volta l'intestazione del web server.

2. site:nomesito.it filetype:txt "robots.txt"

Un primo approccio è quello di mappare il sito, ad esempio:

site:html.it html

per avere le directory linkate e poterci navigare tranquillamente senza per forza passare dalla home page.

il robots.txt non c'è nella main directory, per la 2. e la 3. funzionano anche in win?