Salve a tutti...
mi è sorto in questi giorni un problemino che dapprima pareva piuttosto semplice e in seguito mi ha creato qualche problema...
Da php.. come posso riconoscere se la visita effettuata ad una pagina è relativa ad un utente "reale" oppure ad uno spider/crawler???
Leggucchiando qua e la queste le due tecniche trovate:
1. Basandosi sulla $_GLOBAL['HTTP_USER_AGENT'] e una lista di "nomi" di crawler effettuare un semplice confronto e verificare che l'agente che visita la pagina non appartenga alla lista...
Piccolo problema... nonostante una lista di più di 600 crawler me ne sfuggono ancora molti... oltre a quelli nouvi che nascono tutti i giorni...
2. Basandosi sul fatto che il 99% dei software crawler o spider che siano non abilitano session, controllare che l'agente permetta la gestione di quest'ultima (magari testare il tutto con un piccolo cookie) e verificare così se si tratta di un utente "reale" (da browser) oppure di un software... anche in questo caso però ho un margine di errore dato da i crawler che con session abilitata e dagli utenti con session disabilitata (che vengono inequivocalmente confusi)....
Ecco... oltre a questo non ho trovato altro... =(
Qlche soluzione più semplice e radicale esiste???
Rispondi quotando
