prova con robots.txt. una guida:

http://www.motoricerca.info/robots.phtml

non tutti aderiscono, ma diversi programmi tipo Reaped Site ed altri, prima di eseguire il download delle pagine, leggono le limitazioni scritte nel robots.txt

Il file dice quali cartelle/pagine non devono essere raggiunte