Se è uno spider "maligno" robots.txt non serve a nulla..