mi spiegate percè i robot "cattivi" (che cercano liste mail da spammare ecc) dovrebbero attenersi a quando dichiarato in robots.txt?

cioè se io fossi un programmatore deviato che scrive un parser per sti scopi mica farei in modo che il mio software rispetti le volonta dei webmaster, sarebbe antiproducente!

mi spiegate perché confidare in tale file?