Non sò se il forum è giusto però illustro l'argomento. Ho creato il classico file robots.txt, recuperabile alla pagina www.arezzoweb.it/robots.txt però il mio problema è che la formattazione non è quella che desidero io. Cioè, in tutti i siti, ogni singola frase viene messa su una riga dedicata, mentre le mie righe vengo messe un di fianco all'altra inq uesto modo:
Modo corretto:
User-Agent: *
Disallow: /ciao/
Disallow: /bau/
Il mio modo:
user-agent: * Disallow: /ciao/ Disallow: /bau/
Qualcuno sa illuminarmi su questo problema?? Se lascio il file in questo modo funziona lo stesso?? A cosa serve di preciso il file robots.txt oltre che a non indicizzare le cartelle scritte in esso???
Rispondi quotando
