Ho un problema con lo spider di Yahoo, quello per inteso i cui IP iniziano per 74.6.*
Sono lì che mi consumano banda e cpu dalla mattina alla sera.
Ho provato a bloccarli con il file robots.txt
Ho provato a bloccarli con il file .htaccess, se metto qualsiasi altro IP funziona, se metto quello loro invece no.
ma riescono sempre a passare.
Soluzioni ?
File .htaccess
<Limit GET>
order allow,deny
deny from 74.6.*
allow from all
</Limit>
File robots.txt
Dove sbaglio ?User-Agent: Slurp
Disallow: /
Grazie


Rispondi quotando