Per caso ho scoperto sta cosa
in http://www.dmoz.org/robots.txt

User-agent: *
Disallow: /
Disallow: /cgi-bin/
Disallow: /editors/



Cosa succede?