una considerazione/domanda a voi esperti: in robots.txt sono specificati cartelle e files che non si desidera siano indicizzati, ma in questo modo non sono esplicitate proprio informazioni che potrebbero essere utilizzate per il motivo opposto?
grazie
mic
robots serve a dire a che cosa lo spider non deve avere accesso, non serve a dire quali sono le cartelle che nessuno deve conoscere.
Tu puoi sempre volere che un utente possa arrivare su una pagina, ma non ti serve che questa sia indicizzata.
certo, ma sapendo che alcuni spider sono utilizzati per dare una base dati allo spamming o altre schifezze, non è possibile che alcuni di questi siamo progettati espressamente per andare proprio in quelle sezioni che noi dichiariamo "intoccabili"?
Mah, io una sezione "intoccabile" non la proteggerei certo con robots.txt: userei un accorgimento lato server per impedire gli accessi non autorizzati. Robots non è un filtro, ma solo una direttiva.
ps se conosci uno spider che dà le basi agli spammer, non devi mica indicargli le cartelle: basta che fai "disallow = *"
grazie...
mic
Permessi di invio
Rispondi quotando