vedi questo http://www.robotstxt.org/wc/meta-user.html
ma come fa notare, solo pochi robots leggono quel tag.
quindi elimina le vecchie pagine