secondo me non considerano per niente il file robots: se cercano qualcosa lo prelevano e basta.