Mini-sondaggio: chi usa il robots.txt ?

[Low]

Ciao a tutti.

Volevo fare un piccolo sondaggio. Quanti di voi usano il file robots.txt per prevenire l'indicizzazione di alcune pagine o directory del sito?

Qualcuno di voi ha mai incontrato problemi (spider che non seguono lo standard, ad esempio)?

[dav]

Io.
Ne approfitto per fare una domanda proprio sull'uso del robots:
Supponiamo che io abbia 10 link dalla home verso pagine di amministrazione del sito, quindi inibisco questi 10 link attraverso il robots.
Così facendo disperdo PR? Cioè, io penso che se il motore calcola il PR uscente dalla home tenendo conto di questi link, questo PR non rientrerà in home dato che lui non indicizza queste pagine.
Per ovviare io ho messo questi link in javascript.
Spero di essere riuscito a spiegarmi.

[meganoide]

io li uso solo per tenere lontano alcuni spider.

[Low]

Così facendo disperdo PR?

Non ho mai fatto dei test al riguardo.
Se fossi in te, terrei quei link in Javascript.

Tuttavia, per logica, direi che non ci sarebbe motivo di preoccuparti. Le pagine che ricevono link ma che non ne danno (o che non si sa se ne danno) subiscono un processo diverso rispetto alle normali pagine (che ricevono e danno link), volto proprio a minimizzare la perdita di PR a cui fai riferimento.

[antix]

Una volta l'avevo usato per impedire ad alcuni spider di indicizzare delle pagine con degli elenchi di indirizzi e-mail, per impedire appunto che vengano raccolti dai software "cacciatori di indrizzi e-mail" e poi spammati, ma se devo dire la verità l'esito non è stato un granchè buono.

[dav]

Grazie mille Low, nel dubbio terrò i link in Javascript

[Low]

ma se devo dire la verità l'esito non è stato un granchè buono.

Perché i programmi che cercano indirizzi e-mail solitamente hanno convenienza ad ignorare il robots.txt