PDA

Visualizza la versione completa : robots.txt può migliorare l' indicizzazione?


FABIO@
21-09-2004, 21:57
Non ho problemi a farmi indicizzare tutto il sito.
Mettendo il file 'robots.txt' indicando che tutte le pagine possono essere indicizzate può in qualche maniera contribuire a far migliorare i tempi o la frequenza d' indicizzazione dell' intero sito?

MarcoTuscany
21-09-2004, 22:04
Originariamente inviato da FABIO@
Non ho problemi a farmi indicizzare tutto il sito.
Mettendo il file 'robots.txt' indicando che tutte le pagine possono essere indicizzate può in qualche maniera contribuire a far migliorare i tempi o la frequenza d' indicizzazione dell' intero sito?

E' buona regola utilizzare l'accoppiata robots.txt+ meta robots sui tag.....

E.L.
21-09-2004, 22:22
Come dice Key con il robotex lo inviti a casa tua.

MarcoTuscany
21-09-2004, 22:23
Originariamente inviato da E.L.
Come dice Key con il robotex lo inviti a casa tua.

Vero..un invito a cena....

:)

gik25
21-09-2004, 22:26
Basta anche uno ultrasemplice? tipo allow-all (o come si scrive in realtà)

FABIO@
21-09-2004, 22:31
ma xchè Key dice che è un invito a cena poi sul dominio VE.de non l' inviata?

Ciao

MarcoTuscany
21-09-2004, 22:34
[QUOTE]Originariamente inviato da gik25
Basta anche uno ultrasemplice? tipo allow-all (o come si scrive in realtà) [/QUOT

metti su un file .txt fatto con il blocco note o un altro comune editor di testi questo:

User-agent: *
Disallow:


e fai prendere tutte le pagine.

Poi metti il <meta name="robots" content="index,follow"> sul tuo head della pagina.


basta

agoago
22-09-2004, 00:16
Senza approfondire troppo, con il robots.txt e G, ci si campa. Quando usate il comando site: e nell' elenco vostre pagine appaiono pagine senza descrizione considerate che quelle comunque occupano uno spazio, e se non ci fossero qello "spazio" nel db sarebbe riempito da altre pagine "utili" del vostro sito. Pertanto vanno subito rimosse. G le rumuove per legge in 24 ore, le grosse societa' hanno un prog apposta (non in commercio) che, ad uopo, mette le sopraddette url dentro il robots.txt e poi forza G a leggere il robots.txt e levarle, cosi' in loop finche' tutto e' pulito (inutile dire che ha sviluppato questo semplice software :)).

uMoR
22-09-2004, 00:21
scusa una cosa: ma a sentire te google assegna un tot di pagine massimo da indicizzare per un certo sito ?

quindi io devo liberare spazio eliminando quelle inutili ?

homeworker
22-09-2004, 00:28
forza G a leggere il robots.txtCome fa?

Anche il robots più si aggiorna più viene letto come una qualunque pagina?

Ho disattivato in un sito la lettura dei pdf tramite il robots ma dopo un paio di mesi me li ritrovo ancora nel db di GG. Io vorrei veramente liberare il sovraffaticato GG dei miei vecchi pdf ma non mi sembra abbia dato molta retta al robots.

Loading