riconoscere spider (da log o da user-agent)

[Manuel.s]

ciao
scusate se la domanda è un po tecnica

come posso fare per riconoscere uno spider (possibilmente senza ricorrere a un elenco di agent)? mi serve per intercettare anche quelli sconosciuti in modo da eseguire alcune operazioni solo con operatori "umani"

grazie

[asdfgasdfg]

Ciao,
tralasciando tutti i ragionamenti sull'efficacia o meno di un'azione di cloacking basato solo sullo user agent, per fare quello che chiedi potresti semplicemente fare il ragionamento inverso, non riconoscere tutti gli spider, ma tracciare lo user agent dei browser più usati(firefox,explorer,opera, netscape, safarii) e comportarti di conseguenza.

[frabon]

Io direi che devi per vorza andare per useragent.

Se sei davvero fanatico puoi andare per blocchi di IP, ma è un lavoro improbo e non molto utile.

asdfgasdfg, come sarebbe a dire?

Come fai a capire che questo:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.)

eè google bot se non controllando che lo useranget contiene googlebot?

[asdfgasdfg]

Forse non mi sono spiegato: si deve si utilizzare lo user agent, ma non per individuare gli spider(che sono molti) bensi i browser.

[Manuel.s]

ma anche i browser sono tanti
non c'è negli user-agent dei robot una stringa che li identifica come robot?