Caro giulio,
il file robots.txt è un file di testo che va collocato nella root del tuo web space, per indicare a tutti o alcuni user-agent l'autorizzazione a poter esplorare alcuni file o cartelle.
Nella fattispecie, molte volte l'utente non vuole, per esempio, che il pannello di amministrazione di un sito venga indicizzato assieme al sito vero e proprio. Pertanto si scriverà nel robots.txt...
user-agent: *
disallow: /amministrazione
Queste poche righe non serviranno a chiarire tutti i tuoi dubbi. Perciò ti invito a leggere questa guida.
Ciao.
