Senza offesa, ma non spiega il caso specifico solo e soltanto se non sai leggere

Formato di robots.txt
Il file robots.txt contiene dei record, ognuno dei quali comprende due campi: il campo "User-agent" ed uno o più campi "Disallow".

Il campo User-agent serve ad indicare a quale robot/spider le direttive successive sono rivolte. La sua sintassi è:
User-agent <duepunti> <spazio> <nome_dello_spider>

Il campo Disallow serve a indicare a quali file e/o directory non può accedere lo spider indicato nel campo User-agent. La sintassi di questo campo è:
Disallow <duepunti> <spazio> <nome_del_file_o_directory>

Esempio di un record:

User-agent: googlebot
Disallow: /testi.html
Disallow: /mp3/