Formato MIME e robots.txt

[azocomposto]

Salve, sto utilizzando il servizio Sitemaps di Google, ma per poter usufruire dell'opzione "analisi di robots.txt" mi richiede che il file sia in formato MIME.
Come posso creare un fil ein formato MIME?
Qual'è la sintassi adatta affinchè venga consentito l'accesso a tutti i robots dei motori di ricerca?

Grazie

[webdemo]

attento a non fare confusione tra i due strumenti:
uno serve a favorire la lettura da parte dei mdr (sitemap.xml), puoi indicare le caratteristiche della tua pag (ultima modifica, url, importanza, ecc...) es:

   <url>
      <loc>http://www.tuapag.htm</loc>
      <changefreq>weekly</changefreq>
      <priority>0.5</priority>
   </url>

l'altro serve a indicare quali file o dir devono o no essere indicizzati dai mdr (robots.txt).
Per quest'ultimo apri il tuo editor di testo preferito e salva un file "robots.txt".

Puoi indicare quali mdr sono abilitati a indicizzare le tue pag, quali pag e quali dir semplicemente seguendo questa sintassi:

# tutti i robots
User-agent: *
#
# esclude solo un file:
Disallow: /testi.html
#
# esclude cartelle: 
Disallow: /cartella

chiaramente tutti i file e le dir che non riporti in Disallow, vengono quindi indicizzate

ps
ti sposto in "Motori di ricerca".

ciaux