robots.txt può migliorare l' indicizzazione?

[FABIO@]

Non ho problemi a farmi indicizzare tutto il sito.
Mettendo il file 'robots.txt' indicando che tutte le pagine possono essere indicizzate può in qualche maniera contribuire a far migliorare i tempi o la frequenza d' indicizzazione dell' intero sito?

[MarcoTuscany]

Originariamente inviato da FABIO@
Non ho problemi a farmi indicizzare tutto il sito.
Mettendo il file 'robots.txt' indicando che tutte le pagine possono essere indicizzate può in qualche maniera contribuire a far migliorare i tempi o la frequenza d' indicizzazione dell' intero sito?

E' buona regola utilizzare l'accoppiata robots.txt+ meta robots sui tag.....

[E.L.]

Come dice Key con il robotex lo inviti a casa tua.

[MarcoTuscany]

Originariamente inviato da E.L.
Come dice Key con il robotex lo inviti a casa tua.

Vero..un invito a cena....

[gik25]

Basta anche uno ultrasemplice? tipo allow-all (o come si scrive in realtà)

[FABIO@]

ma xchè Key dice che è un invito a cena poi sul dominio VE.de non l' inviata?

Ciao

[MarcoTuscany]

[QUOTE]Originariamente inviato da gik25
Basta anche uno ultrasemplice? tipo allow-all (o come si scrive in realtà) [/QUOT

metti su un file .txt fatto con il blocco note o un altro comune editor di testi questo:

User-agent: *
Disallow:


e fai prendere tutte le pagine.

Poi metti il <meta name="robots" content="index,follow"> sul tuo head della pagina.


basta

[agoago]

Senza approfondire troppo, con il robots.txt e G, ci si campa. Quando usate il comando site: e nell' elenco vostre pagine appaiono pagine senza descrizione considerate che quelle comunque occupano uno spazio, e se non ci fossero qello "spazio" nel db sarebbe riempito da altre pagine "utili" del vostro sito. Pertanto vanno subito rimosse. G le rumuove per legge in 24 ore, le grosse societa' hanno un prog apposta (non in commercio) che, ad uopo, mette le sopraddette url dentro il robots.txt e poi forza G a leggere il robots.txt e levarle, cosi' in loop finche' tutto e' pulito (inutile dire che ha sviluppato questo semplice software :)).

[uMoR]

scusa una cosa: ma a sentire te google assegna un tot di pagine massimo da indicizzare per un certo sito ?

quindi io devo liberare spazio eliminando quelle inutili ?

[homeworker]

forza G a leggere il robots.txt

Come fa?

Anche il robots più si aggiorna più viene letto come una qualunque pagina?

Ho disattivato in un sito la lettura dei pdf tramite il robots ma dopo un paio di mesi me li ritrovo ancora nel db di GG. Io vorrei veramente liberare il sovraffaticato GG dei miei vecchi pdf ma non mi sembra abbia dato molta retta al robots.