Problema con ROBOTS.TXT

[Planetoffantasy]

ho un problema con il Robots.txt

io ho un dominio, su cui metterò un sito, che deve ancora essere finito e quindi non voglio certo che sia indicizzato da Google o altri.

ho cmq messo online il forum che è ormai finito, e di questo forum vorrei che mi indicizzasse solo alcune pagine.

quindi fopo essermi letto la guida sui motori di ricerca di http://www.motoricerca.info/

ho costruito il mio robots.txt

mettendo inoltre nelle pagine che voglio che mi indicizzi:
<META NAME="Robots" content="index,follow">

in quelle che NON voglio che indicizzi:
<META NAME="Robots" content="noindex,follow">

il problema è che Google mi ha indicizzato delle pagine che sono presenti nel Robots.txt e che aveva il meta:
<META NAME="Robots" content="noindex,follow">

(registrazione-profilo-rubrica)

vedi qui:
http://www.google.it/search?hl=it&q=...n+Google&meta=


Qualcuno mi sa dire in cosa ho sbagliato?
Grazie a tutti

vi allego il link al robots.txt (che ho controllato con
http://tool.motoricerca.info/analizzatore-robots.phtml )

link robots:
xxx

[fradefra]

Ad una prima occhiata al robots.txt e ad una delle pagine inserite contro le tue indicazioni, m'è parso tutto ok.

Hai controllato nei log che il robots.txt venga letto dagli spider di Google?

Comunque, niente garantisce al 100% che quelle indicazioni siano seguite. Lo spider, se vuole, le ignora. Tempo fa avevo sentito parlare di uno spider di Google che passando leggeva tutto a dispetto di indicazioni diverse. Non ho fatto alcuna prova, però.

[Planetoffantasy]

Originariamente inviato da fradefra
Ad una prima occhiata al robots.txt e ad una delle pagine inserite contro le tue indicazioni, m'è parso tutto ok.

mmm...sembra tutto giusto allora...

Hai controllato nei log che il robots.txt venga letto dagli spider di Google?

sinceramente... non so come si fa... visto che io non ho l'accesso ai file di log, il sito è server aruba...
qualche idea?

Comunque, niente garantisce al 100% che quelle indicazioni siano seguite. Lo spider, se vuole, le ignora. Tempo fa avevo sentito parlare di uno spider di Google che passando leggeva tutto a dispetto di indicazioni diverse. Non ho fatto alcuna prova, però.

e che cavolo!

se vi vengono in mente idee, soluzioni, o vi accorgete di qualcosa di sbagliato.. fatemelo sapere. grazie.

[Planetoffantasy]

up

-----

ho notato una cosa, ma non so se ha importanza...

google mi ha indicizzato delle pagine che non volevo, ma...
la cartella Forums ... che su server è scritta appunto con lettera Maiuscola.... è scritta nel link di Google con lettera minuscola.

e nel robots.txt è scritta con lettera maiuscola.

potrebbe essere che Google non riconosca il percorso scritto sul robots a causa della maiuscola?

forse ritrasforma i nomi delle cartelle tutte in minuscolo, lasciando maiuscolo solo il nome del file.

in questo caso magari ritrasformando in minuscolo il percorso e quindi la parola Forums... una volta che la confronta con il robots non la riconosce e quindi la indicizza.

voi che ne dite?

io non so darmi spiegazione... e mi sto chiedendo a che serve fae un robots e aggiungere tag se poi non serve a niente....

[grin]

Essendo su un server Windows dove maiusculo/minuscolo sono la stessa cosa ho paura che devi disabilitare in tutti i due casi..

Attualmente hai disabilitato /Forums/file.. (cmq bastava disab. soltanto la cartella /Forums/) e qua ci siamo.. infatti Google non ha indicizzato questa cartella.. Ha indicizzato invece /forums/ giustamente perchè non hai disabilitato questo percorso..

Credo che Google utilizza le piattaforme *UNIX o derivanti quindi forums/ e Forums/ per lui sono due cose molto diverse..