Mi trovo una situazione anomala ultimamente su qualche sito: abbiamo messo il file robots.txt (ovviamente nella root) con le seguenti istruzioni
User-agent: *
Disallow: /directory_da_bloccare/

Noto che in alcuni casi mi indicizza solo la pagina principale della directory e non le sotto pagine, in altri casi mi indicizza un po' di pagine. Ma dovrebbe essere bloccato! Non dovrebbe riuscire ad indicizzare pagine se c'è il blocco del robots.txt!!

So che nella SERP del compando site eventuali url senza la descrizione e altri elementi sono url di cui in realtà non ha indicizzato i contenuti ma trovo anche url indicizzate con la copia di cache disponibile.

Se provo a chiedere la rimozione di queste url Google mi accetta la rimozione, significa che secondo lui sono pagine bloccate, ma perché poi me le indicizza?
Su questi siti ultimamente sto riscontrando qualche problema, secondo me dovuto a duplicazione dei contenuti proprio a causa di queste pagine che non dovevano essere indicizzate.