robots.txt

[strawberry]

mi hanno detto che il file robots.txt potrebbe essere utilizzato anche per far si che gli spider dei motori di ricerca trovino il sito.
Ho aggiunto già un robots.txt contenente le seguenti 2 righe

User-agent: *
Disallow:
che, a quanto pare, dovrebbero dare accesso a tutti gli spider, dal momento che non è prevista nessuna esclusione...

...ma non ho avuto buoni risultati. Per favore potreste dirmi qualcosa in più o magari indicarmi qualche buon sito dove poter acculturarmi maggiormente?
GRAZIE IN ANTICIPO A TUTTI!!!

[sfogliamilano]

[supersaibal]Originariamente inviato da strawberry
mi hanno detto che il file robots.txt potrebbe essere utilizzato anche per far si che gli spider dei motori di ricerca trovino il sito.
Ho aggiunto già un robots.txt contenente le seguenti 2 righe

User-agent: *
Disallow:
che, a quanto pare, dovrebbero dare accesso a tutti gli spider, dal momento che non è prevista nessuna esclusione...

...ma non ho avuto buoni risultati. Per favore potreste dirmi qualcosa in più o magari indicarmi qualche buon sito dove poter acculturarmi maggiormente?
GRAZIE IN ANTICIPO A TUTTI!!! [/supersaibal]

http://www.motoricerca.info/robots.phtml

Poi lo verifichi con:
http://tool.motoricerca.info/analizzatore-robots.phtml

[Petro_suse91]

[supersaibal]Originariamente inviato da strawberry
mi hanno detto che il file robots.txt potrebbe essere utilizzato anche per far si che gli spider dei motori di ricerca trovino il sito.[/supersaibal]

Il robots.txt non serve a questo.
Per quello ci vogliono link verso il tuo sito.
Il robots dice allo spider cosa andare a vedere e cosa no

[luigib]

[supersaibal]Originariamente inviato da strawberry
mi hanno detto che il file robots.txt potrebbe essere utilizzato anche per far si che gli spider dei motori di ricerca trovino il sito.
Ho aggiunto già un robots.txt contenente le seguenti 2 righe

User-agent: *
Disallow:
che, a quanto pare, dovrebbero dare accesso a tutti gli spider, dal momento che non è prevista nessuna esclusione...

...ma non ho avuto buoni risultati. Per favore potreste dirmi qualcosa in più o magari indicarmi qualche buon sito dove poter acculturarmi maggiormente?
GRAZIE IN ANTICIPO A TUTTI!!! [/supersaibal]

Questa si che è un'informazione che ti può essere utile: utile a sapere che non devi dare più ascolto a chi te l'ha detta.

Vedi: www.robotstxt.org/wc/faq.html