Tramite il file robot.txt!

Prova a dare un'occhiata all'indirizzo qui sotto:

http://www.tuttophp.altervista.org/file-robot.php