Originariamente inviato da noos
bella boolbo
hai capito xfettamente il problema
mi spiegheresti in linea generale come si fà????
tnx
Apri il notepad e ti crei un file chiamato obbligatoriamente "Robots.txt"

Dentro scrivi così:

# robots.txt for http://www.nometuosito.it

User-agent: *

Disallow: /nomecartella/
Disallow: /altronomecartella/
Disallow: /nomecartella/nomefile.htm
Disallow: nomefile.htm
Disallow: altronomefile.htm


# End of robots.txt file

L'asterisco indica che tutti gli spibot di tutti i motori devono tenere conto di queste istruzioni. Iol comando "Disallow" impedisce l'indicizzazione del file indicato e di tutti i file dentro la cartella indicata.

Il fole Robots.txt deve stare nella root dello spazio web, quindi dove sta il file Index della home. I riferimenti a cartelle e files partono tutti da lì, dalla root dove si trova il Robots.txt quindi.
Pertanto se vuoi impedire l'indicizzazione del contenuto di una cartella metti:
Disallow: /nomecartella/

Se solo di alcuni file della cartella metti:
Disallow: /nomecartella/nomefile1.htm
Disallow: /nomecartella/nomefile2.htm
Disallow: /nomecartella/nomefile6.htm

tutti gli altri file dentro nome cartella saranno invece indicizzati. Se li vuoi bloccare tutti fai come sopra, cioè disabiliti tutta la cartella.

Se i file non sono contenuti in sottocartelle ma sono nella root dove si trova il robots.txt devi indicara i nomi di ogni file che vuoi disabilitare dall'indicizzazione così:
Disallow: nomefile1.htm
Disallow: nomefile2.htm

e così via.

Per altre istruzioni più dettagliate vedi qui:
http://www.searchengineworld.com/rob...s_tutorial.htm
http://www.robotstxt.org/wc/robots.html

se