Come bloccare i bot MSN?

[peppe304]

Salve a tutti.

Sono un webmaster e questo mese sono stato costretto a delle spese per aumentare la banda del sito. Mi chiedevo come potesse esserci un tale aumento e mi sono accorto che questo è dovuto alla massiccia presenza in qualsiasi momento del giorno del bot Msn. Come faccio a bloccarlo?

Ho già pensato al file robots.txt ma non sono riuscito. All'interno di questo ho scritto più di una riga cercando di beccare l'user-agent corretto e ho scritto tutti questi, senza però successo:

User-agent: MSNBot
Disallow: /

User-agent: msnBot
Disallow: /

User-agent: msnbot
Disallow: /

User-agent: MSN
Disallow: /

User-agent: msn
Disallow: /

User-agent: msnbot/2.0b
Disallow: /

User-agent: msnbot/1.1
Disallow: /

User-agent: msnbot/2.0b (+http://search.msn.com/msnbot.htm).
Disallow: /
User-agent: msnbot/1.1 (+http://search.msn.com/msnbot.htm).
Disallow: /

User-agent: msnbot/2.0b (+http://search.msn.com/msnbot.htm)
Disallow: /

User-agent: msnbot/1.1 (+http://search.msn.com/msnbot.htm)
Disallow: /

Insomma le ho provate tutte. Cosa devo fare? Ringraziando enormemente chi risponderà, cordiali saluti.

Ps: mi auguro che la sezione sia giusta, in caso contrario spostatelo senza chiuderlo per favore, è molto importante.

[simo_85]

Penso che era meglio se postavi in Windows & Software.. Io chiederei di spostare..

[MItaly]

Windows e software? Io direi Motori di ricerca...

[simo_85]

Originariamente inviato da MItaly
Windows e software? Io direi Motori di ricerca...

[antares75]

Ho avuto lo stesso problema sia con il bot di MSN che di Yahoo!.

Da come scritto nella documentazione ufficiale il motore msn legge il file Robots.txt (da notare l'iniziale maiuscola). Per quello che riguarda l'istruzione all'interno del file, quella corretta (sempre secondo la loro documentazione) è :

User-agent: msnbot
Disallow: /


Comunque c'è da dire che il file robots.txt è una convenzione che i diversi crawler possono rispettare o meno, non esiste un qualche tipo di obbligo a leggere tale file.

La soluzione migliore penso sia gestire la cosa tramite il .htaccess oppure tramite codice, ad esempio in php:

//Controllo User-Agent per bloccare Bot Yahoo e Msn
$hua= $_SERVER['HTTP_USER_AGENT'];
$pos = strpos($hua, 'msnbot');
$pos1 = strpos($hua, 'Slurp');
if($pos || $pos1){
exit();
}

da mettere all'inizio di ogni pagina php o in un eventuale index.php. In questo modo i bot indicati vedranno solo una pagina bianca e non succhieranno via risorse.

Qui la doc di MsnBot