Il Disallow nel robots.txt impedisce agli spider di accedere alla pagina (ecco perché non c'è la cache), ma non di indicizzarne l'URL, il quale può essere presentato nelle SERP privo delle informazioni presenti in pagina.