ho notato in alcuni siti che prima di passare google bot a spiderizzare tutto (con user agent solito tipo Googlebot versione (+http:....)) passa prima quello con user agent (mozilla 5.0 ecc ecc).. è come se facesse un controllo e poi desse l'ok al bot normale
a voi risulta questa cosa ?
Ricordi se hanno la stessa net-mask ?
66.249.65.212
66.249.64.240
ecco
Per controllare useresti la stessa net-mask oppure cercheresti di assegnare al bot di controllo un ip diciamo fuori la rete di Google tipo - 212.24.12.78 ?
Sarà un tipo di controllo ma non per i cloackers attenti..
Permessi di invio
Rispondi quotando