Robots? no grazie...

[elbaforum]

Ciao a tutti, ho un affluenza di robots che si bloccano tutti alla pagina www.capoliverionline.it/snitz/cal.asp il problema è che anche nelle statistiche di google sitemaps, mi rileva dei problemi in questo file ma digitandolo nella barra funziona benissimo.
Vorrewi chiedervi quali tra questi robots e relativi accessi al mio sito dovrei vietare l'accesso?:

Google 1464
MSN 1349
Inktomi 1192
WiseNutBot 727
Mediapartners-Google 626
crawler 491
Gigablast 271
OmniExplorer_Bot 166
jyxobot 99
ichiro 96
ia_archiver 63
LinkWalker 53
Wanadoo 53
WebReaper 42
bot 36
crawlerinfo 35
whatUseek_winona 33
e-SocietyRobot 33
ConveraCrawler 28
Linux 24
crawl 16
robot 9
miragorobot 7
::_detectURL 4
libwww-perl 4
travelbot 4
aipbot 3
ccubee 2
ASPseek 2
MVAClient 2

Grazie Andrea

[fradefra]

Hai provato a visionare la pagina con browser diversi da IE? Forse c'è qualcosa nel codice che non provoca problemi con i browser moderni, ma li provoca con gli spider, che sono invece strutturati come se fossero dei vecchi browser.

[E.L.]

Giusta osservazione, in effetti con il mio firefox vedo una pagina bianca.
Consiglio scaricati lynx oppure dai in pasto la pagina a qualche tool che fa il parsing della stessa come si trattasse di uno spider e controlla riga per riga il codice sino a che non trovi il problema...
Magari prima prova a validare la pagina...

[elbaforum]

Ciao, si tratta di un codice javascript per le statistiche che fa bloccare i browser. Sono costretto ad eliminarlo.