Questa notte mi è entrato un certo UbiCrawler che è andato a leggere per 1090(millenovanta) volte la stessa pagina.
Non conosco quel crawler e non so se può essere utile o meno.
Cosa mi consigliate, lascio fare o modifico il robots.txt
1090 volte sulla stessa pagina, mi pare sia troppo in un lasso di 9 ore
risalendo all'url nel http_user_agent mi sono trovato in sto sito
http://www.cnr.it/sitocnr/home.html
qualcuno lo conosce?
grazie molte.
comunque adesso lo respingo con il robots.txt, perchè ormai mi ha visitato 1750 volte la stessa pagina e mi sta mandando in palla il sito.
...e cisà poi se quel progetto avrà un'utilità
Visti i presupposti ti auguro che rispetti il robotext, ci fai sapere?
sul loro sito informativo http://ubi0.iit.cnr.it/projects/ubi/ dicono che è possibile disattivare il loro crawler, ma ormai dagli utenti connessi che sono il doppio del solito, mi sa che sta ancora lavorando.
speriamo, perchè mi sta bene che visitino il mio sito, ma così lo imballano per niente anche perchè continua a visitare la home page del forum di supporto(sempre la stessa pagina)
Permessi di invio
Rispondi quotando