Tolto disallow su robots.txt ma google...

[annunciaaa]

...continua ad inserire la pagina nelle URL limitate da robots.txt

Consigli?


Grazie

[Evi|A|ivE]

cioè ci sono ancora o la cache viene aggiornata? controlla le date delle pagine in cache

leggendo
QUI mi pare di capire che devi specificare il NOARCHIVE nei meta, dopodichè segnalare (per non attendere il passaggio del crawler)a questo indirizzo che l'url è stato rimosso.

Cosi lo spider passa, legge il noindex/no archive e aggiorna.

Io ho fatto richiesta di rimozione di un'url inesistente, dopo circa una settimana mi è arrivata la mail di avvenuta rimozione

[annunciaaa]

Ho semplicemente rimosso dal file robots.txt le stringhe:

Disallow: /foto2.asp
Disallow: /foto3.asp
Disallow: /foto4.asp

in quanto ora vorrei che vengano indicizzate.

Andando però nel sito:

https://www.google.com/webmasters/sitemaps/etc.(per quanto sia attendibile)

Trovo questo stato:

URL relativo ai robot http://www.miosito.it/robots.txt
Ultimo download Not Found
Stato Not Found

In realtà http://www.miosito.it/robots.txt esiste.

Spero di essermi spiegato meglio.

Grazie delle eventuali risposte.

[883]

[supersaibal]Originariamente inviato da annunciaaa
...continua ad inserire la pagina nelle URL limitate da robots.txt

Consigli?


Grazie [/supersaibal]

Google non vuole rispettare lo standard robots.txt. Al massimo non ti mette titolo snippet e copia cache ma l'url te la mette lo stesso e la pagina la visita.

[Evi|A|ivE]

AAAAAAHhhhh! lol scusa!
avevo capito che inseriva comunque l'url delle pagine rimosse on disallow... ommioddio sto messo male

Quindi il problema è che non ti vede il robots.txt -> non puo seguirne le indicazioni...
non mi è mai capitato :/
Se provi a far eun check nella pagina dedicata al robots.txt? per vedere i files oscurati/visibili? ti da errore?

[annunciaaa]

Cosa intendi per check?
Se vuoi vedere il file robot.txt lo trovi qui

Grazie
Ciao

[Evi|A|ivE]

dalla pagina di GG dove controlli statistiche, sitemap ecc, c'è una seizone per contllare il robots (se blocca, cosa blocca, se ha errori ecc)

[annunciaaa]

Si' infatti erano quelle pagine che mi avevano allarmato.

Ora è in questo stato:

URL relativo ai robot http://www.miosito.it/robots.txt
Ultimo download 29/03/06 15.26.02 PST
Stato 200
Accesso alla home page Non stai bloccando l'accesso alla tua home page.

Per qualche giorno, senza apparenti motivi, dava:

URL relativo ai robot http://www.miosito.it/robots.txt
Ultimo download Not Found
Stato Not Found


Grazie a tutti