Robots.txt

[Matrix_74]

Come faccio a verificae che effettivamente il mio file robots.txt funziona correttamente ?
(verificare che gli spider non entrino in determinate cartelle)

Grazie

[framor]

Prova qui


x

(weppos - prendere visione del regolamento)

[cognolatom]

Se ti fai un account su google riesci a gestire sia il robots ke la sitemap. Xò non ho capito una cosa: nel file robots.txt specifico ai motori quali sono le pagine e le directory che non voglio indicizzare. Ma se io sono malintenzionato e so ke nella root del sito c’è questo robots.txt ke contiene links a pagine private magari con contenuti importanti posso aprirlo e appropriarmi di tali informazioni… Sbaglio?

[Da-ve-u]

Ma se io sono malintenzionato e so ke nella root del sito c’è questo robots.txt ke contiene links a pagine private magari con contenuti importanti posso aprirlo e appropriarmi di tali informazioni… Sbaglio?

robots.txt serve per dire ai motori (che ne tengono conto) tipo google di non indicizzare certe pagine del sito per vari motivi:
- pagine di test
- pagine in costruzione
- pagine "brutte", buttate lì in qualche maniera
- pagine varie che non si vogliono includere nei risultati dei motori
- pagine di login alla sezione amministrativa
- ...

Le pagine private (con contenuti importanti o che permettono di accedere a sezioni amministrative), invece, devono sempre comunque essere protette in altro modo (ad es. con php, htaccess ecc...)

[cognolatom]

Ok quindi robots.txt non serve a livello di protezione. Grazie della precisazione
Ciao