OK, su nuovo sito farò così...Originariamente inviato da beke
User-agent: *
Disallow:
è il modo ufficiale.
E' come dire: Cari bot fate come se foste a casa vostra
ecco ora mi sembra di ricordare il motivo.
era per evitare che lo spider che cerca il file robots.txt non trovandolo (perchè magari non ho nulla da limitare ai motori) si stranisce e se ne vada, insomma il concetto era vuoto ma mettilo .
comunque vada per la formalità... giusto
Rispondi quotando