[supersaibal]Originariamente inviato da E.L.
Attenzione dovrebbe essere questo il codice corretto:

codice:
User-agent: *
Disallow:
Con questo codice dici allo spider di prendere tutto. Il discorso di Cicciput è giusto, aumenti la vlocità e la facilità di accesso al tuo sito utilizzando comunque un robots.txt... [/supersaibal]
Scusatemi ma, io ho sempre utilizzato questo file in maniera diversa e cioè indicando agli spider dove non indicizzare.
Però mettendo * su user-agent e non mettendo nulla su disallow non è che qualsiasi spider si ferma li e non considera più il sito? Intendo dire che
Disallow:
forse viene interpretato come
disallow: /

Forse è questo il problema.
Correggetemi se sbaglio. :master: