robots.txt

[giacidi]

Escludendo un robot con il file robots.txt,
è possibile riattivarlo?
E' sufficiente togliere l'escusione nel file robots.txt
o è necessario segnalarlo nuovamente al motore?

[meganoide]

toglilo

[weppos]

Originariamente inviato da giacidi
Escludendo un robot con il file robots.txt,
è possibile riattivarlo?
E' sufficiente togliere l'escusione nel file robots.txt
o è necessario segnalarlo nuovamente al motore?

E' sufficiente togliere l'user agent dal file robots.
Sappi solo che i motori ricaricano le informazioni sul file periodicamente e non ad ogni passaggio dello spider per cui potrebbe essere che l'indicizzazione non sia così immediata.