Hai ragione su tutta la linea ,mi ero scordato dei robot.txt(sono alle prime armi) e nn sapevo che la notizia fosse vecchia, mi è capitata sotto mano leggendo un giornale sulla metro.
Grazie per il chiarimento!