un paio di approcci possibili
if(parent.name!=self.name){alert('sono in frameset')}
if(parent.frames.length>0){alert('sono in frameset')}

ciao