Delucidazioni sul tag meta ROBOTS

[brutusin]

salve ho trovato queste indicazioni su un sito

<meta NAME="distribution" CONTENT="global">
<meta NAME="ROBOTS" content="ALL">
<meta name="robots" content="index,follow,all">
<meta NAME="REVISIT-AFTER" content="5 days">

potreste spiegarmi se sono davvero utili?
inoltre il file robots.txt andrebbe salvato in maiuscolo o minuscolo (oppure non influisce)
e cosa dovrebbe contenere al suo interno ?
ciao e grazie a tutti

[fra_975]

ciao brutusin,

salve ho trovato queste indicazioni su un sito

<meta NAME="distribution" CONTENT="global">
<meta NAME="ROBOTS" content="ALL">
<meta name="robots" content="index,follow,all">
<meta NAME="REVISIT-AFTER" content="5 days">

potreste spiegarmi se sono davvero utili?

è utile solo
<meta name="robots" content="index,follow">
le altre sono inutili e qualche tempo fa si diceva anche dannose se poi non veritiere, tipo <meta NAME="REVISIT-AFTER" content="5 days">, ma ora sono inutili.
Ti consiglio di usare solo questi:
<title></title>
<meta name="description" content="">
<meta name="keywords" content="">
<meta name="title" content=""> forse inutile ma non dannoso
<meta name="robots" content="index,follow">
<meta name="language" content="it">
<meta http-equiv="content-language" content="it">

inoltre il file robots.txt andrebbe salvato in maiuscolo o minuscolo (oppure non influisce)

ininfluente credo

e cosa dovrebbe contenere al suo interno ?

i file che non vuoi che siano indicizzati. se vuoi che indicizzi tutto scrivi solo
User-agent: *
Disallow:

ciao

[brutusin]

benissimo quindi il file robotx.txt è costituito solo da quelle due stringhe ?
e cosi mi indicizza tutto !
curiosità ci sono dei buoni motivi per far si che non indicizzi alcune pagine ?
mi faresti alcuni esempi?
ciao e grazie

[Tagliaerbe]

[supersaibal]Originariamente inviato da brutusin
benissimo quindi il file robotx.txt è costituito solo da quelle due stringhe ?
e cosi mi indicizza tutto !
curiosità ci sono dei buoni motivi per far si che non indicizzi alcune pagine ?
mi faresti alcuni esempi?
ciao e grazie [/supersaibal]

Ti consiglio questa ottima lettura:
http://www.motoricerca.info/robots.phtml

[fra_975]

si, ma lo spider del motore visiterà tutte le pagine del sito a patto che la navigazione dello sito stesso sia corretta (ovvero il menu deve essere testuale e ci deve essere la mappa)

io escludo col robots i file che non servono ai motori tipo i css e le pagine di accesso alle aree riservate o gli .swf ma non significa che non li legge, credo che non li mostri nelle serp e basta