nel mouseout prima di fare tornare il div alla dimensione originale metti un delay, penso che il perchè del fatto che sia eseguito 2-3 volte sia dovuto proprio al ridimensionamento. Non sono sicuro che basti a risolvere.