robots.txt - perche dovrebbero obbedire?

[nourdine]

mi spiegate percè i robot "cattivi" (che cercano liste mail da spammare ecc) dovrebbero attenersi a quando dichiarato in robots.txt?

cioè se io fossi un programmatore deviato che scrive un parser per sti scopi mica farei in modo che il mio software rispetti le volonta dei webmaster, sarebbe antiproducente!

mi spiegate perché confidare in tale file?

[nicyork]

Il file robots.txt non serve per evitare gli spammers ma per indirizzare i motori di ricerca, per fargli indicizzare quello che si vuole e non tutto quanto!

[nourdine]

si ma ci sono anche robots che leggono e collezionano email! o sbaglio? (comunque non sbaglio). quindi di conseguenza servono anke agli spammers!

esempio? http://www.americaint.com/superstore/elist.html

here we go!

[assia]

Infatti non tutti i motori si attengono al robots.txt, per quelli "cattivi" non serve a nulla....serve solo a dare istruzioni a quelli "buoni".

Per evitare che gli spammer prelevino gli indirizzi email devi utilizzare altre tecniche, es. mettere gli indirizzi in javascript.

[nicyork]

Mi sembra tu faccia un po' di confusione... se vuoi avere la certezza che il tuo indirizzo email non sia soggetto a spam, non creartelo!
Apparte gli scherzi... un metodo è quello, come ti ha suggerito assia, di inserire le email con javascript...

La finalità del file robots.txt, come detto prima, è di indirizzare i motori di ricerca verso le pagine che vuoi che ti indicizzino, e al tempo stesso escluderne altre.
E' anche vero che si possono escludere degli spider, se si vuole.
Ma indubbiamente se uno vuol scandagliare il tuo sito in cerca di email o informazioni particolari, non è certo mettendo il file robots.txt he lo fermi! Questo è chiaro!

[fradefra]

Io vorrei buttare un po' di benzina sul fuoco.

Cosa può pensare un motore di un sito che è molto visitato dagli utenti, ma per cui un robots.txt gli dice di non entrare? Voi al suo posto, che fareste?

Della serie... tutti vanno ad una festa open, ma io non posso entrare. Gulp!

[cosencao]

Insomma si deve usare o no?

[Evi|A|ivE]

fradefra

io penserei che ho dei problemi... (acne, cattivi odori, forfora, ..)
scherzi a parte, conosco un sito abbastanza (ma solo "abbastanza")informato (ed informante) su questo argomento, che anch ese dovrebbe sapere che è inutile inibire l'accesso tramite robots.txt a grabber malevoli... ha un robots grosso COSI

[nourdine]

che simpaticone che sei! in effetti la mia curiosità è nata quando ho analizzato proprio questo robots.txt questa mattina fin che bevevo il caffe. che sia da fidarsi? non mi sembra mica na fonte autorevole :-)