Dmoz.org Robots.txt

[lithops1]

Per caso ho scoperto sta cosa
in http://www.dmoz.org/robots.txt

User-agent: *
Disallow: /
Disallow: /cgi-bin/
Disallow: /editors/



Cosa succede?

[Ettore P]

che a tutti i crawler è richiesto di non indicizzare il contenuto delle cartelle /cgi-bin/ e /editors/ (quest'ultima, è comunqueprotetta in htpaccess). Quale è il problema ?

[lithops1]

Scusami Ettore
ma questo

User-agent: *
Disallow: /

non significa che vengono disabiliti tutti i file e le directory?

fonti
http://www.searchengineworld.com/rob...s_tutorial.htm
http://www.robotstxt.org/wc/norobots.html#code

[lithops1]

:quote:

[Low]

Basandosi sullo standard per l'esclusione dei robots, significa che disabilita tutto.

Gli spider che non seguono strettamente lo standard (tipo Googlebot), potrebbero continuare ad indicizzare le pagine.