Puoi usare il file robots.txt:

http://pro.html.it/articoli/id_136/idcat_28/pro.html