devi cambiare un po' il modo in cui l'hai fatto
ad esempio in maniera molto semplice:
crei il tuo bottone che dal fotogramma 1 al 5 si ingrandisce [stop();]e dal 6 al 10 si rimpicciolisce [stop();]..
quest'animazione la metti in un movieclip che metti sullo stage a cui dai nome istanza "pippo"..

nella zona in cui vuoi che al passaggio del mouse avvenga l'animazione metti un bel pulsante trasparente con azione
on(rollOver){
_root.pippo.gotoAndPlay(1);
}
on(rollOut){
_root.pippo.gotoAndPlay(6);
}

questo è un metodo molto semplice ma serve giusto per capire come funziona