Chiarimento file robots.txt

[andreabsl]

Ho un sito di test dove appoggio i siti in costruzione che Google mi ha comunque indicizzato.

Il sito è www.test.miosito.it con circa 30 sottocartelle.

Vorrei mettere un file robots.txt in modo da non far indicizzare nessuna pagina di questo sito.

Qual'è la procedura corretta?

Questo non inciderà comunque sul dominio www.miosito.it vero?

[Skull260287]

Originariamente inviato da andreabsl
Ho un sito di test dove appoggio i siti in costruzione che Google mi ha comunque indicizzato.

Il sito è www.test.miosito.it con circa 30 sottocartelle.

Vorrei mettere un file robots.txt in modo da non far indicizzare nessuna pagina di questo sito.

Qual'è la procedura corretta?

Questo non inciderà comunque sul dominio www.miosito.it vero?

# go away
User-agent: *
Disallow: /

Da salvare in un file robots.txt che inserirai nella directory principale del sito.

[andreabsl]

grazie mille!

Una curiosità la riga # go away
cosa significa?

[andreabsl]

Originariamente inviato da andreabsl
grazie mille!

Una curiosità la riga # go away
cosa significa?

Credo di aver capito che sia un commento....

Approfitto per una seconda domanda se voglio invece che il sito sia tutto indicizzato ed indicare la sitemap è corretto mettere la seguente sola riga nel file robots:

Sitemap: http://www.miosito.it/sitemap.xml

Senza niente altro?

Grazie ancora

[Skull260287]

Originariamente inviato da andreabsl
Credo di aver capito che sia un commento....

Approfitto per una seconda domanda se voglio invece che il sito sia tutto indicizzato ed indicare la sitemap è corretto mettere la seguente sola riga nel file robots:

Sitemap: http://www.miosito.it/sitemap.xml

Senza niente altro?

Grazie ancora

La sintassi corretta per ottenere l'indicizzazione di tutto il sito e per indicare la sitemap relativa, sicuramente valida per google, è

Sitemap: http://URL SITO/sitemap.xml

User-agent: * 
Disallow:

P.S. #go away nel post precedente è un commento

[andreabsl]

Però ho trovato un test su internet alla pagina:

http://www.searchenginepromotionhelp...ts-checker.php

che mi dice che il tuo file robots è sbagliato.

Infatti ho provato il seguente file robots:

User-agent: *
Disallow:
Sitemap: http://www.miosito.it/sitemap.xml

ma mi dice che la seconda riga è sbagliata.

[Skull260287]

Originariamente inviato da andreabsl
Però ho trovato un test su internet alla pagina:

http://www.searchenginepromotionhelp...ts-checker.php

che mi dice che il tuo file robots è sbagliato.

Infatti ho provato il seguente file robots:

User-agent: *
Disallow:
Sitemap: http://www.miosito.it/sitemap.xml

ma mi dice che la seconda riga è sbagliata.

Io ho testato il robots.txt del mio sito con gli strumenti per i webmaster di google e da li ho preso spunto per il suggerimento che ho dato a te, mi risulta tutto ok.

Per maggiori dettagli sulla creazione puoi fare riferimento a : http://www.robotstxt.org/robotstxt.html

per lo standard di implementazione che è quello che ho seguito io.

[bidibodibù]

Infatti ho provato il seguente file robots:

User-agent: *
Disallow:
Sitemap: http://www.miosito.it/sitemap.xml

ma mi dice che la seconda riga è sbagliata.Infatti ho provato il seguente file

Se tu ad uno dici: " Non seguire....." oppure "Non indicizzare....." e poi non dici nulla non è il massimo della correttezza comunicativa.

In effetti quel disallow:

non dice nulla, e non è il massimo della correttezza.

Se vuoi che il tuo sito sia tutto indicizzato o comunque seguito dallo spider, sarebbe forse più corretto mettere allow: *

o meglio ancora, ometterlo proprio, anche se non sono un esperto di sintassi del robots.txt