poichè non tutti gli spider portano traffico, volevo sapere a quali secondo voi conviene tranquillamente impedire di passare per il sito attraverso il file "robots"
(infatti a volta ho letto in questo forum che ci sono motori che "mangiano" banda a più non posso)
Ci stavo giusto pensando anche io:
- baiduspider (cinese o cmq asiatico)
- linkwalker (sicuro)
- msn & yahoo (sembra uno scherzo ma in due si sono mangiati più di duemila pagine su un sito multilingua da poche decine di pagine x lingua questo mese ma pochissime pagine indicizzate e mai un aggiornamento)
http://www.robotstats.com/it/
conoscete questo servizio qui? o è un comune sofware per statistiche degli spider?
Anche se non lo uso, lo conosco bene perche se ne parla e utilizzo molto da francesi. E per fare stat sulle visite degli spider.
vedi qua : http://www.webrankinfo.com/forums/forum_7.htm (che e uno forum simile a questo).
E da quello ho letto li funziona molto bene.
Franco, dal Belgio
anche quelli che prelevano email
Originariamente inviato da meganoide
anche quelli che prelevano email
per esempio?
ho cercato di trovare elenchi di spider inutili in google ma niente...
prova a guardare su google "bad spider", "bad user agent" ecc.
Prova anche qui:
http://www.webmasterworld.com/forum11/
Resta solo da capire se gli spam bot danno realmente retta al robots.txt. Se fossi un bot "illegale" me ne fregherei e "ruberei" lo stesso le info di cui ho bisogno...
secondo me non considerano per niente il file robots: se cercano qualcosa lo prelevano e basta.
è pertanto inutile recuperare i nomi degli spider consuma-banda-a-tradimento?
Permessi di invio
Rispondi quotando