robots log analyzer software

[zanzobs]

Ciao a tutti,
Come molti in questa board (vedi ad es. agoago) anche io sto facendo dei test su alcuni siti web in gestione, particolarmente mirati all'analisi dei log files... c'è qualche software che avete provato ben funzionante che dia info approfondite: individuazione dello spider, tempo di permanenza, percorso spider, eventuali errori (es. 404), frequenza di visita, ecc..).

webtrend fa abbastanza pena...

sto creando un algoritmo per la soluziona, ma magari qualcuno ha già sviluppato qualcosa di simile...

Ciao e grazie a tutti.

[E.L.]

Io ho provato Absolute log analyzer e mi sembra fatto abbastanza bene. Non so se soddisfi tutti i tuoi requisiti ma poco ci manca.
Io onestamente non ho trovato altri programmi che ti dicano quale spider è passato, che pagine ha visitato e a che ora e che per ogni ip ti dica quali pagine sono state viste.

Insomma io mi trovo bene è che costa troppo.

[zanzobs]

Innanzitutto E.L. grazie per la risposta...
Ho visto Absolut, ma il prezzo, per il momento, non ne vale la candela... ho deciso (come al solito) per una soluzione in proprio e sto creando in ASP per creare un software che analizza log files... per il momento sono partito (ma che novità?!?) dal Googlebot... e le prime analisi che sto realizzando sulla lettura della pagina sembrano molto molto interessanti... poi in questo momento di cambiamento... putroppo un giorno terrestre è solo di 24 ore...

Se qualcuno avesse già effettuato esperimenti simili vorrei condividere gli studi... in Italia è difficile trovare grandi SEO a parte su HTML.it naturalmente

Ciao e grazie mille per la risposta.

[beke]

A me interessa

Anche io sto facendo alcune prove, ma purtroppo per ora non so dirti molto, a parte quello che ho osservato su un sito da due settimane a questa parte.

Se ti interessa ne discutiamo.

[zanzobs]

Ciao Beke,
Che tipo di programmazione stai usando? Con che DB?
Mi piacerebbe sviluppare un applicativo web based... lavorando in ASP abitualmente mi sono messo su quello.

Ciao e grazie... attendo tue nuove.

[beke]

Applicazione è una parola grossa

Per adesso sto usando uno script ASP fatto in dieci minuti che intercetta ( almeno spero che lo faccia ) solo il Googlebot, ed infila IP address, nome della pagina, data, ora e user-agent in un db access.

Non ho neanche ancora fatto una pagina per filtrare i risultati, perchèp ho poco tempo...

Però avendolo messo su un test che sto facendo (VE.de-like) ho già notato alcune cose che vorrei provare ad interpretare, magari insieme a qualcun'altro interessato.

[zanzobs]

Ciao Beke e tutti gli altri interessati,
Le nostre ricerche credo siano compatibili, io infatti voglio e cerco di concentrare la mia anlisi sui "movimenti" dello spider all'interno della nostra pagina web, soprattutto i "saltelli" da un link all'altro... oltre naturalmente a rilevare ed isolare orari di arrivo e partenza, tempi di permanenza, ecc.... però il tutto partendo da log file... anche perché non vorrei appesantire troppo la programmazione sul sito online e vorrei estendere la ricerca anche ad altri robots....

Direi che potremmo darci una scadenza per analizzare risultati reciproci....

Di nuovo Ciao

[beke]

Tutto quello che per ora ho analizzato io te lo posso postare in 10 righe, purtroppo

l'8 settembre ho messo online un nuovo sito costituito dalla sola home page. Questa era linkata ad un sito che veniva (e viene) visitato giornalmente dal Googlebot.

Il 9 settembre alle 9:00 AM circa il Googlebot passa per la prima volta sulla pagina ed è un "64.68.82".

Fino al 14 settembre compreso, un bot della stessa "famiglia" è passato da quella pagina tra le 4:00 AM e le 6:00 AM.

Il 13 settembre metto on-line una seconda pagina linkata alla home.

Il 14 settembre il bot "64.68.82" entra in tutte e due le pagine.

Dal 15 settembre il vecchio bot lascia il posto a uno diverso, un "66.249.64", sarà una coincidenza?

Il "66.249.64" è passato giornalmente da entrambe le pagine sostituendo l'altro, fino ad oggi compreso.

Stamattina però oltre al solito bot la default è stata visitata alle 8:32 AM anche da un "66.249.66" con un user agent diverso dal solito "Googlebot/2.1 (+http://www.google.com/bot.html)", ovvero: "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) "

Tu sai qualcosa delle funzioni di queste "famiglie" di bot?

[Martin_fly]

Discussione moooolto interessante


ClickTracks Analyzer l'avete mai provato?

[beke]

No... funzia?