AAAAAAHhhhh! lol scusa!
avevo capito che inseriva comunque l'url delle pagine rimosse on disallow... ommioddio sto messo male

Quindi il problema è che non ti vede il robots.txt -> non puo seguirne le indicazioni...
non mi è mai capitato :/
Se provi a far eun check nella pagina dedicata al robots.txt? per vedere i files oscurati/visibili? ti da errore?