domandina sul robots

[pippo26]

ciao....nel mio portale nella directory principale ho inserito il file robots.txt con all'interno scritto:

User-agent: *
Disallow: /

vorrei sapere se il mio ragionamento è giusto.....scrivendo queste 2 righe lo spider non dovrebbe memorizzare le mie pagine nella sua cache.....visto che le pagine del portale saranno sempre aggiornate essendo dinamiche....il risultato della ricerca dovrebbe far vedere sempre le pagine con contenuti aggiornati.....o link nuovi aggiornati.......

è giusto il mio ragionamento?
Se è giusto è vantaggioso o svantaggioso?

GRAZIE

[weppos]

Con la stringa che hai inserito nessun robot visiterà mai il tuo sito.

Il file robot infatti non serve per gestire le cache dei motori, ma il passaggio degli spider.
IL file indica agli spider quali sezioni non visitare anche se linkate.

[pippo26]

cacchio....quindi sarebbe meglio non inserire nulla? E per la cache?

[Trimball]

<META NAME="ROBOTS" CONTENT="noarchive">

nelle pagine che non vuoi archiviare

[weppos]

Ogni motore (o gruppi) ha una sua sintassi.
Quella riportata da Trimball è la più generica che se non ricordo male include anche google.

Originariamente inviato da Trimball
<META NAME="ROBOTS" CONTENT="noarchive">

nelle pagine che non vuoi archiviare

[pippo26]

le varie sintassi dove posso trovarle?
grazie ragazzi.........

[weppos]

Originariamente inviato da pippo26
le varie sintassi dove posso trovarle?
grazie ragazzi.........

Sulle FAQ del sito di ogni spider.