Quindi a te interessa solo che lo spider non visiti quelle pagine solo per non far aumentare il contatore, credevo avessi il problema che caricasse un solo frame indicizzato singolarmente nei mdr.
prova a dare un'occhiata qua a fine pagina:
http://www.motoricerca.info/risorse/