script passaggio spider

[massimo80]

ragazzi mi sono fatto un piccolo script per vedere se passa google, ho idea di aver sbagliato qualche cosa perchè mi rileva che passa 40 volte al giorno.

<?
$spider = $_SERVER['HTTP_USER_AGENT']; 
if(eregi(".(google).",$spider)) 
{
$page = $_SERVER["PHP_SELF"]; 
$to = "massimo@prova.it"; 
$title = "Googlebot"; 
$msg = "Googlebot è passato su ".$page; 
mail($to, $title, $msg); 
} ?>

cosa c'è di sbagliato?

[vrbe.org]

non e' detto che sia sbagliato....

[massimo80]

e mi passa 40 volte al giorno?? senza mai entrare nelle pagine interne??? allora è uno spider ebete???? :-))
hehe

[powerflash]

ti spiego subito dov'è il problema:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) Opera 7.50 [en],gzip(gfe) (via translate.google.com)

quando un utente utilizza il translate di google, lo script passa VERO e quindi è come se passasse il bot , in realtà non è passato nessun bot, infatti io ho lo stesso problema... ma non riesco a risolverlo!!

[massimo80]

ecco risolto l'enigma, peccato che non abbiamo la soluzione. :-)) grazie

[carlo2002]

non so se dico una stupidata, anche perchè ancora non ho affrontato praticamente questo argomento e non so nemmeno cos'è un traslate , ma uno spider non si può anche identificare dal sup IP?

[massimo80]

si che si può, però gli spider di google(quelli che mi intaressano) provengono da decine di indirizzi ip e cambiano continuamente. quindi ecco la difficoltà

[Surfair]

se non ricordo male google si identifica con
googlebot

quindi

if(eregi(".(googlebot).",$spider)) 

[powerflash]

è di questo che stavamo parlando, questo metodo forse funzionava un anno fà ... ma adesso non vaaaaa!!!

io a volte mi ritrovavo senza un passaggio e a volte in 24 ore passava 80 vltwe, e siccome l'USER_AGENT mi viene menmorizzato in un campo di tabella, per curiosità sono andato a vedere e ho scoperto che compariva questo:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1) Opera 7.50 [en],gzip(gfe) (via translate.google.com)


invece dai files di log , quando passa googlebot, compare questo:

"Googlebot/2.1 (+http://www.google.com/bot.html)"

tenete conto che i doppi apici li inserisci il logs di Apache, non vorrei che il controllo che sto utilizzanod non funziona perchè la "G" è il primo carattere della stringa?? ... che bne pensate??

[Surfair]

..e allora usa

if (preg_match("/GoOgleBot/i", $spider))

così sei sicuro al 100%