Ciao a tutti

Non ho chiara una cosa:

(Scusatemi se apro un'altra disc., ma non la trovo!)

Ieri leggevo sul forum che il file robots.txt è molto importante per farsi trovare da GG,si diceva che è come un invito a cena!


Mi sono andata a documentare essendo alle prime armi con queste cose e ho letto che
'il file robots.txt contiene una lista di pagine e directory che gli spider NON possono prelevare.'

ma allora come è possibile che sto file robots.txt sia così importante per farsi trovare! non dovrebbe essere il contrario?