Ciao, puoi postare il codice che stai utilizzando? Ho usato anch'io quel tag di recente e non ho avuto problemi.
Ricorda che alcuni browser (come Firefox) non supportano gli mp3 ma solo i .ogg, quindi hai bisogno di utilizzare entrambi i formati.

Segnalo un tool molto interessante per convertire file audio: http://media.io
Qui invece puoi vedere l'attuale supporto dei browser per il tag audio: http://caniuse.com/#feat=audio