comportamento inatteso del robots.txt

[homeworker]

Solitamente il robots.txt viene utilizzato per escludere singoli file o interi domini dalla spiderizzazione dei motori di ricerca.

Il forum che ci ospita esclude tramite robots.txt tutto il sottodominio forum.html.it ma effettuando alcune ricerche in google delle pagine compaiono nelle serps.

Esempi:
http://www.google.it/search?hl=it&q=...nG=Cerca&meta=
http://www.google.it/search?q=site:f...t&lr=&filter=0

Un comportamento strano, sembra vengano indicizzate le pagine linkate dalla home di html.it...

[lorenzos]

Forse perchè essendo su uno spazio diverso non ci arriva dalla home di html...
Sparo...
Poi non so...

[giorgiotave]

io sono raccomandato come dici?

http://www.google.it/search?hl=it&c2...nG=Cerca&meta=

[uMoR]

le cache sono di un anno fa, magari non c'era il robots a quei tempi

[rinzi]

[supersaibal]Originariamente inviato da uMoR
le cache sono di un anno fa, magari non c'era il robots a quei tempi [/supersaibal]

si hai ragione... alcune sono di marzo 2004

[homeworker]

[supersaibal]Originariamente inviato da giorgiotave
io sono raccomandato come dici?

http://www.google.it/search?hl=it&c2...nG=Cerca&meta= [/supersaibal]

[Scherzo mode on]
Si... http://www.google.it/search?hl=it&c2...nG=Cerca&meta=
[Scherzo mode off]

Bisognerebbe sapere quando è stato messo il robots ma che mi ricordi c'è da parecchio tempo...

Forse perchè essendo su uno spazio diverso non ci arriva dalla home di html...
Sparo...
Poi non so...

Penso di si... se arriva lo spider in forum.html.it legge il robots e gli da retta. Se arriva da un link su www.html.it non trova robots e si comporta normalmente indicizzando la pagina. Se voglio non indicizzare una pagina devo usare anche il meta tag noindex

[key]

.

[weppos]

Confermo.
Se non ricordo male tempo fa il forum non era escluso dai motori.

Se volete saperne di più controllate i dati in cache.
E' possibile risalire ai tempi in cui è stato inserito il robots.txt guardando i profili utenti.

La cosa curiosa, ribaltando il tutto, è che nonostante ciò i dati siano ancora in cache.

[esteban]

può essere dalla quantità di link soprattutto in tema con html.it che ci sono in firma di tanti utenti e che quindi aumenta la rilevanza per ogni 3d che ha preso... no?
mi sono sparato una caxxata?