codice:
User-agent: *
Disallow: /tua-cartella/
Incollalo in un file .txt, chiamalo robots.txt e mettilo nella root principale del sito

User-agent: * (significa tutti gli spider)
Disallow: /public/ (impedisce agli spider di indicizzare la cartella public.