Originariamente inviato da lucavizzi
codice:
User-agent: *
Disallow: /tua-cartella/
Incollalo in un file .txt, chiamalo robots.txt e mettilo nella root principale del sito

User-agent: * (significa tutti gli spider)
Disallow: /public/ (impedisce agli spider di indicizzare la cartella public.
la cosa non è comunque affidabile:
ho giusto un problema "serio" a riguardo

se proprio il file non deve essere rintracciato è bene che stia in una cartella senza permessi di navigazione (tipo quella del DB)

edit:
urca... mi accorgo solo ora di non aver chiuso la directory con /
sarà quello?
'mo provo