Ciao a tutti. La mia domanda è: se inserisco il meta tag
<meta name="robots" content="index,follow" />
e poi non ho il file robots.txt, va bene? Oppure deve per forza esserci anche il file robots.txt? Preciso che voglio che lo spider mi visiti il sito senza escludere nulla.
Grazie!
Se vuoi far indicizzare tutto robots.txt non ti serve...
www.hotelexpert.it con Google Maps!
Grazie!
Però lo metterei perchè molti motori lo cercano cmq (vedi error log del server).
Lucas
Ho letto qui http://www.searchengineworld.com/mis..._txt_crawl.htm che è un errore mettere il comando "allow" perchè il robots deve solo contenere "disallow" cioè dire allo spider cosa non indicizzare. Dunque mi chiedevo...se io voglio che tutti gli spider mi visitino tutte le pagine, non sarà un errore mettere comunque il robots.txt?
mettilo vuoto.[supersaibal]Originariamente inviato da giorgio_73
Ho letto qui http://www.searchengineworld.com/mis..._txt_crawl.htm che è un errore mettere il comando "allow" perchè il robots deve solo contenere "disallow" cioè dire allo spider cosa non indicizzare. Dunque mi chiedevo...se io voglio che tutti gli spider mi visitino tutte le pagine, non sarà un errore mettere comunque il robots.txt? [/supersaibal]
Permessi di invio
Rispondi quotando