Riconoscere gli Spider

[PaoloPicazio]

Come si fa a riconoscere gli spider dei motori di ricerca?

Io avevo pensato a questo metodo che credo funzioni per Google:
faccio "cache:www.sito.it" e vedo data e ora dell'ultimo passaggio, poi vado a vedere a che ip corrisponde nelle statistiche.

Funziona cosí? E per gli altri motori?

[weppos]

In linea generica puoi leggere la user agent.

[PaoloPicazio]

[supersaibal]Originariamente inviato da weppos
In linea generica puoi leggere la user agent. [/supersaibal]

Perdonami weppos, ma non ho capito a cosa ti riferisci

[weppos]

[supersaibal]Originariamente inviato da PaoloPicazio
Perdonami weppos, ma non ho capito a cosa ti riferisci [/supersaibal]

Sai cos'è la user agent di un client (browser, spider, software...)?

[PaoloPicazio]

Ora sì.. o meglio: ho cercato su Google ed ho trovato questo.

http://www.dotnethell.it/tips/UserAgent.aspx

Posto l'url per chi come me è interessato. Appena ho tempo lo leggo e magari posto i miei dubbi. Denghiu

[kuma13]

[supersaibal
Io avevo pensato a questo metodo che credo funzioni per Google:
faccio "cache:www.sito.it" e vedo data e ora dell'ultimo passaggio, poi vado a vedere a che ip corrisponde nelle statistiche.
[/supersaibal]

Anch'io faccio così ma se google non ti restituisce niente e ti dice "la ricerca non ha prodotto risultati" cosa vuol dire?
Le pagine del mio sito sono in google, le vedo con "site:blabla" ma non mi fa vedere la cache.
Qualcuno sa perchè? Forse perchè è vecchia?

[mr Yak]

si, questa è una cosa che vorrei capire pure io perchè è importante:
io capisco che lo spyder è passato per la prima volta perchè im ritrovo indicizzato in gg.
ma per capire quando passa le volte successive?
io uso il prog hyperstat dell'omonimo utente 8spero nn sia promozione...ovviamente non ho nulla a che fare con lui)
e non capisco da dove verificare qnd passa GG.
C'è la funzione "dettagli ultime visite" ma l'unica cosa da cui potrei desumere che sia paasato ggbot è l'ip, ma a quanto ho capito l'ip di googlebot è variabile. mi sbaglio?esiste una serie predefinita di ip di gg?

[weppos]

In primo luogo per cortesia manteniamo in tema la discussione senza finire nuovamente sui programmi di statistiche.

Se ne è parlato a iosa, cerchiamo di mantenere la discussione fuori da quel territorio.

L'argomento è decisamente complesso o meglio, lungo, per dirla in parole brevi la User Agent è la carta d'identità per un qualsiasi client, ovvero un qualsiasi dispositivo connesso alla rete che accede ad un server.

Palmari, cellulari, portatili, browser, perfino la xbox hanno una user agent, ovvero una stringa testuale che identifica il client in oggetto.

Bene, in linea generica è possibile tracciare queste user agent e "leggerle" per individuare il tipo di client e quindi anche se un motore o meno.

In genere ogni spider ha un suo UA identificativo che ne permette l'individuazione.

Esistono poi altri metodi, come ad esempio l'IP, ma è decisamente più complesso il sistema.

[mr Yak]

bene,
questo l'ho capito, quello che chiedo (e giuro nn è mia intenzione spostare questo post sui servizi di stat) è:
dove legga la UA?
grazie

[AndyWebArtist]

dove leggo la UA?

nei files di log del server, se vi hai accesso.