Scusami Ettore
ma questo

User-agent: *
Disallow: /

non significa che vengono disabiliti tutti i file e le directory?

fonti
http://www.searchengineworld.com/rob...s_tutorial.htm
http://www.robotstxt.org/wc/norobots.html#code