controlla per esempio quello di html.it:
http://www.html.it/robots.txt

ci troverai la url dell'articolo che spiega tanti dettagli su questo file.