mi hanno detto che il file robots.txt potrebbe essere utilizzato anche per far si che gli spider dei motori di ricerca trovino il sito.
Ho aggiunto già un robots.txt contenente le seguenti 2 righe

User-agent: *
Disallow:
che, a quanto pare, dovrebbero dare accesso a tutti gli spider, dal momento che non è prevista nessuna esclusione...

...ma non ho avuto buoni risultati. Per favore potreste dirmi qualcosa in più o magari indicarmi qualche buon sito dove poter acculturarmi maggiormente?
GRAZIE IN ANTICIPO A TUTTI!!!