Originariamente inviato da morea_1967
and...ma dove sta il file robot nel tuo sito???
dove devono stare tutti i file robots.txt, ossia nella cartella principale anche se... il mio robots serve a poco o nulla, l'ho messo solo per non vedere nelle statistiche l'errore 404 "Page not found"

io non ho problemi perchè il sito è diviso in due parti e la pagina principale è in html quindi google segue entrambi i links e indicizza per lo meno la parte xhtml

comunque questo è il mio robots.txt in pratica è un file vuoto

comunque se fai una ricerca su google su come scrivere il file robots.txt vedrai che non è così difficile, diciamo che più che il percorso da fare gli dici cosa non deve guardare...