cambia approccio:
considera una classe da assegnare all' elemento attivo

al click rimuovi la classe da qualsiasi elemento che possa averla
e poi settala su quello cliccato

al mouseover/out procedi solo se l' elemento non ha quella classe