PDA

Visualizza la versione completa : UbiCrawler


lycia
25-02-2004, 08:24
Questa notte mi è entrato un certo UbiCrawler che è andato a leggere per 1090(millenovanta) volte la stessa pagina.
Non conosco quel crawler e non so se può essere utile o meno.
Cosa mi consigliate, lascio fare o modifico il robots.txt
1090 volte sulla stessa pagina, mi pare sia troppo in un lasso di 9 ore

lycia
25-02-2004, 11:13
risalendo all'url nel http_user_agent mi sono trovato in sto sito
http://www.cnr.it/sitocnr/home.html

qualcuno lo conosce?

http
25-02-2004, 11:45
http://www.italica.rai.it/principali/multimedia/futurama/websemantico.htm

lycia
25-02-2004, 11:52
grazie molte.
comunque adesso lo respingo con il robots.txt, perchè ormai mi ha visitato 1750 volte la stessa pagina e mi sta mandando in palla il sito.
...e cisà poi se quel progetto avrà un'utilità

http
25-02-2004, 11:54
Visti i presupposti ti auguro che rispetti il robotext, ci fai sapere?

lycia
25-02-2004, 11:59
sul loro sito informativo http://ubi0.iit.cnr.it/projects/ubi/ dicono che è possibile disattivare il loro crawler, ma ormai dagli utenti connessi che sono il doppio del solito, mi sa che sta ancora lavorando.

speriamo, perchè mi sta bene che visitino il mio sito, ma così lo imballano per niente anche perchè continua a visitare la home page del forum di supporto(sempre la stessa pagina)

Loading