Tutti gli spider [...], ogni volta che accederanno al sito web, per prima cosa andranno a cercare nella directory principale il suddetto file
ok, per questo mi segnala l'errore 404! però a me non servendo escludere nulla lascio così com'è!