ragazzi devo chiedere alcune cose sul file robots.txt
all'interno della root di un sito vorrei inserire il file robots.txt
con il seguente codice
User-agent: *
Disallow:
in modo tale da consentire a tutti gli spider di setacciare le mie pagine ...
all'interno della root ho una cartella protetta che verrà utilizzata dagli utenti iscritti
dal momento che gli spider non riusciranno ad accedere alla cartella è possibile vietare l'accesso ad una cartella specifica ?
Rispondi quotando
