Se tu gli dici, "caro spider puoi prenderti tutto oppure non puoi prenderti questa pagina" stabilisci comunque una comunicazione con lui.
La prima cosa che cerca lo spider (non tutti ma G. sì in genere) e il file robots.txt se tu glielo piazzi sul sito lo aiuti a navigarlo, capisci?