Prova anche qui:
http://www.webmasterworld.com/forum11/

Resta solo da capire se gli spam bot danno realmente retta al robots.txt. Se fossi un bot "illegale" me ne fregherei e "ruberei" lo stesso le info di cui ho bisogno...