VEramente il file Robots.txt serve per escludere la visita dello spider in determinate sezioni, non per attrarla.
Un buon metodo è farsi linkare da siti spesso visitati e con alta popolarità.