Robots

[hukapan]

Il meta tag <meta name="robots" content="index,follow"> ha la stessa valenza del file robots.txt?
User-agent: *
Disallow:

E inoltre... negando l'accesso a determinati spider tramite il robots.txt, questi, una volta visto il divieto, tornano a fare visita o non tornano più? (mi servirebbe per impedire l'eventuale indicizzazione in determinati periodi)

E infine... uno spider tipo il QuepasaCreep o qualche altro alla ricerca di mail si ferma davvero davanti al proprio divieto? Non sarebbe la cosa più facile del mondo superare questo ostacolo?

[Low]

Il meta tag <meta name="robots" content="index,follow"> ha la stessa valenza del file robots.txt?
User-agent: *
Disallow:

Sì, ma il meta tag ha effetto solo sulla pagina su cui risiede, mentre quel robots.txt fornisce un'indicazione sull'intero sito web.

E inoltre... negando l'accesso a determinati spider tramite il robots.txt, questi, una volta visto il divieto, tornano a fare visita o non tornano più?

Tornano ogni tanto, con tempi che variano da motore a motore.

E infine... uno spider tipo il QuepasaCreep o qualche altro alla ricerca di mail si ferma davvero davanti al proprio divieto?

Quelli che cercano e-mail non si fermano davanti a nulla.

QuepasaCreep non sono sicuro che sia un programma per individuare indirizzi e-mail. Questo spider rispetta il mio robots.txt.

[hukapan]

Grazie Low