Utility per il tracciamento delle visite degli spider

[beke]

Tempo fa ho realizzato una piccola utility in visual basic per rilevare il passaggio degli spider di Yahoo Google e MSN dalle varie pagine dei siti.

L'ho realizzata per uso personale, quindi è molto essenziale ma funziona e dal momento che mi è stata utile parecchie volte ho deciso di metterla on-line come freeware.

Per ora legge solo i file di tipo "W3C extended log file" e purtroppo l'ho provata solo con i log di due hoster diversi ma entrambi con piattaforma Windows-IIS.

Entrambi mettevano a disposizione i log in quel formato e con tutti i campi abilitati.

Non so se questo sia uno standard però, quindi chiedo il vostro aiuto per capire quanto sia diffuso questo formato fra i vari hoster Linux e Windows.

E se chi lo utilizza abilita di default tutti i campi del formato oppure no.

Grazie a tutti fin d'ora per l'aiuto

[Ferro9]

Il problema del formato credo sia facilmente risolvibile, magari con qualche opzione di configurazione per permettergli di utilizzare i principali (Apache e IIS).

Credo però che il grosso limite sia nel linguaggio usato.

Mi spiego: ruotando i log una volta alla settimana, ho mediamente file di circa 2-300Mb per ogni sito. Capisci che è una bella complicazione comprimerli, downloadarli (arghhh! il neologismo assassino...) e poi processarli in locale.

Se invece il linguaggio fosse Perl o PHP (o anche C) si potrebbero processare direttamente sul server, magari automatizzando il tutto.

[Ferro9]

Dimenticavo: credo che un'utility del genere manchi (io non ne conosco) per cui... datti da fare!

[beke]

[supersaibal]Originariamente inviato da Ferro9
...il grosso limite sia nel linguaggio usato. Mi spiego: ruotando i log una volta alla settimana, ho mediamente file di circa 2-300Mb per ogni sito. Capisci che è una bella complicazione comprimerli, downloadarli (arghhh! il neologismo assassino...) e poi processarli in locale. Se invece il linguaggio fosse Perl o PHP (o anche C) si potrebbero processare direttamente sul server, magari automatizzando il tutto. [/supersaibal]

Hai perfettamente ragione
Ovviamente dipende dall'uso che si fa del programma.

Personalmente ho usato questa utility soprattutto su log di siti nuovi, dove ancora gli spider non erano mai passati.

Mi ha permesso di imparare moltissime cose sul rapporto causa-effetto fra aggiornamenti del sito e passaggio degli spider ed anche sulle correlazioni fra la struttura dei link, quella delle cartelle e la velocità degli spider ad includere le pagine.

[uMoR]

immaginati un'utility del genere che processa 200-300mb di log per 100 siti, saranno contenti gli hoster

[uMoR]

p.s. webalizer fa quel che vuoi fare tu

[Ferro9]

Umor, io ho i miei server, chi è in hosting solitamente non ha grossi siti e di conseguenza grosse difficoltà di analisi dei log.

In ogni caso, non ho mai visto nulla del genere nei reports di Webalizer, mi sai indicare qualche pagina precisa?

[beke]

[supersaibal]Originariamente inviato da uMoR
p.s. webalizer fa quel che vuoi fare tu [/supersaibal]

No, non o fa, e neanche awstat e neppure analog.
Altrimenti che perdevo tempo a fare?

Ne avessi tanto a disposizione...
Comunque qualcuno che mi aiuta dandomi qualche informazione sui suoi file di log proprio non c'è?

[Ferro9]

Questo è un esempio del formato log che uso su Apache,

68.142.251.146 - - [12/Jun/2005:08:59:01 +0200] "GET /robots.txt HTTP/1.0" 404 - "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
68.142.249.16 - - [12/Jun/2005:08:59:02 +0200] "GET / HTTP/1.0" 403 3931 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
64.62.168.25 - - [12/Jun/2005:11:29:42 +0200] "GET /robots.txt HTTP/1.0" 404 - "-" "Gigabot/2.0"
64.62.168.35 - - [12/Jun/2005:11:29:43 +0200] "GET /formit.asp HTTP/1.0" 404 - "-" "Gigabot/2.0"
83.176.84.24 - - [12/Jun/2005:11:56:34 +0200] "GET / HTTP/1.1" 403 3931 "-" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1)"
64.246.165.150 - - [13/Jun/2005:05:56:29 +0200] "GET /robots.txt HTTP/1.1" 404 - "http://www.whois.sc/" "SurveyBot/2.3 (Whois Source)"

Il log è ottenuto con questa configurazione di Apache, e da quel che mi risulta dovrebbe essere una delle più utilizzate (mette insieme referrer e user agent):

LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined

[beke]

Grazie.

Ovviamente non è un file di log "W3C extended file format"

Il delimitatore è uno spazio, che tu sappia è possibile che possa essere impostato anche un'altro carattere?

Mi pare di capire che l'ordine e la struttura di ogni campo nella riga di log possano essere personalizzate.

Questa è la configurazione di default di apache?