Nel robot.txt specifica la cartella o la pagina da non seguire.

Antonio