robots.txt

[stefano3804]

esiste qualche tool per crearli online questi file ???

[assia]

Anche secondo me il robots.txt non è la causa...

http://www.google.it/search?hl=it&c2...nG=Cerca&meta=

Mmmm...a me tutti questi link dal forum non piacciono tanto...

[awd]

annamo male!
Perché trova 150 siti che hanno dentro l'indirizzo del mio e non trova il mio?

[Tecnology]

[supersaibal]Originariamente inviato da E.L.
Attenzione dovrebbe essere questo il codice corretto:

User-agent: *
Disallow:

Con questo codice dici allo spider di prendere tutto. Il discorso di Cicciput è giusto, aumenti la vlocità e la facilità di accesso al tuo sito utilizzando comunque un robots.txt... [/supersaibal]

Scusatemi ma, io ho sempre utilizzato questo file in maniera diversa e cioè indicando agli spider dove non indicizzare.
Però mettendo * su user-agent e non mettendo nulla su disallow non è che qualsiasi spider si ferma li e non considera più il sito? Intendo dire che
Disallow:
forse viene interpretato come
disallow: /

Forse è questo il problema.
Correggetemi se sbaglio. :master:

[Guspy]

ma scusa perché non tagli la testa al toro e fai:

User-agent: *
Disallow: /image/

o comunque tu abbia chiamato la cartella delle immagini, in alternativa usa una cartella dove non c'è nulla da indicizzare ...