Puoi inserire un file robots.txt nella root del sito e specificare delle posilitche di accesso per i robot. I Robot arrivano qguardano se c'è il file Robots.txt e gli obbediscono...

En esempio di Robots.txt è:

User-agent: *
Disallow: /directory/file.htm
Disallow: /directory2/


Che permette ai robot con quasliasi user agent di entrare dappertutto tranne che nel file.html
o nella directory2