Si ma non penso ke usando programmi come wget o puf il robot.txt possa servire a molto...