Ho già un file robots.txt nella directory principale del sito, ma non un file xxx_robots.txt, non sapevo bisognasse crearne uno con questo nome, devo farlo?Originariamente inviato da filippo.toso
Il crawler larbin (vedi http://sourceforge.net/projects/larbin/) ha cercato di richiamare il file /xxx_robots.txt senza trovarlo e sollevando un error 404 (file not found).
Ti suggerisco di inserire nella root del tuo sito un file robots.txt anche vuoto, altrimenti rischi di essere sommerso da mail di quel tipo.
Per capire che cos'è un file robots.txt, vai sul sito http://www.robotstxt.org/