Molti file bloccati da robots.txt sono indicizzati

[mondiali_2010]

Su blog wordpress ho usato un robots.txt così:

User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*?

eppure google ha indicizzato nel suo indice centinaia di pagine (indicandone solo l'url, senza snippet di descrizione e cache).
Infine riporta tutti questi come errori di restrizione sul Centro per webmaster.

Cosa mi consigliate di fare?

[YouON]

Io ho realizzato diversi siti con Wordpress e in automatico WP ha delle direttive per bloccare le cartelle tipo /wp-admin, tutte queste direttive che hai messo secondo me non servono. Ma il problema qual è? Ti ha indicizzato cartelle private? Difficile se non hanno un link diretto...

[mondiali_2010]

Eppure è così, le ha indicizzate e anche in grande quantità in % sulle pagine del sito. Sai cosa penso?
Le ha trovate ed indicizzate proprio per la presenza di quel blocco sul robots.
Forse le ha trovate nel webmaster tool, altrimenti non si spiega dove possa aver trovato link pubblici a quelle directory e files.
Ho rimosso quel file robots comunque, vediamo.

[YouON]

Mi fai vedere il sito che vediamo le pagine indicizzate? E' proprio strano questo caso guarda, ma al contempo interessante.

[mondiali_2010]

Te lo mando via PM

[YouON]

Sì ho visto cmq con il "site:" se non fai la ricerca con i risultati omessi non ti da questo problema. Ho verificato un mio sito e ha indicizzato 3 pagine su 706 di un plugin stupidissimo che non uso più. Si vede che a volte capita. La cosa però che non va bene è che su alcuni URL che ho provato da NOT FOUND e parlo di URL normali, quello non va bene.

Sicuramente a volte i plugin potrebbero fare indicizzare delle cartelle che noi non desideriamo, io direi di ripulire il robots lasciandolo così:

User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-

Sitemap: videomusicali.tv/sitemap.xml

E vediamo se torna a posto.

[mondiali_2010]

Ho ripulito il robots del tutto ed eliminato le pagine tag che ora creano errore 404, la cosa è voluta.