Controlla che il robots.txt restituisca uno status 200 (o 304)