ciao, grazie, ma è meglio mettere nel robots.txt solo:

User-agent: *
Disallow:

in questo modo gli spider non entrano a vedere nelle mie pagine vero?