La soluzione che hai pensato va più che bene, anche perchè ti permette di sapere se un utente ha votato e quindi eviti il doppio voto...
La tabella sarebbe solo numerica, quindi efficente e snella!