è tutto scritto:
http://www.google.it/intl/it/webmast...#exclude_pages

Per rimuovere tutte le pagine contenute in una particolare directory (ad esempio, lemurs), utilizzate il seguente file robots.txt:

User-agent: Googlebot
Disallow: /lemurs

Per rimuovere tutti i file di un tipo specifico (ad esempio, .gif), utilizzate il seguente file robots.txt:

User-agent: Googlebot
Disallow: /*.gif$