ti faccio un esempio, se conosci il programma Game Maker, ti posso dire che con l'HTML5 se sei bravo (anche in matematica, ovviamente) puoi fare tutto quello che c'è anche la, le prestazioni saranno un po' meno ridotte perchè sei su browser, comunque per fare ciò hai bisogno di conoscere quasi tutto del Javascript, dalla manipolazione del DOM, agli eventi, alla OOP, ecc...

comunque per il tuo esempio, devi innanzitutto catturare la posizione del mouse, quindi controlli le coordinate rispetto ai tuoi lati, ogni volta che passi su un lato cambi colore (ctx.strokeStyle), mi rendo conto che a parole sembra tutto più difficile ma in realtà è più semplice di quanto si creda