FireFox non supporta nativamente il formato .mp3 ma solo il formato .ogg

devi fare una cosa del genere

<audio controls="controls">
<source src="song.ogg" type="audio/ogg" />
<source src="song.mp3" type="audio/mpeg" />
Your browser does not support the audio element.
</audio>

In questo modo supporti tutti i browser.
Purtroppo, come il tag video, anche l'audio si porta dietro problemi legati all'utlizzo dei vari codec
Questo sarà uno delle limitazioni più pesanti dellìhtml5. Spero che un giorno , prima del rilascio ufficiale dell'html5 e dell css3 , raggiungano un accordo , altrmenti addio standard . Quando arriverà il tempo che a parità di codice tutti i browser si comportino allo stesso modo ?
Bah staremo a vedere .

Scusa se mi sono dilungato. Comunque fai la prova con il codice di esempio che ti ho mostrato.
Dovrebbe funzionare. Se non è così allora forse c'è da aggiungere il mime type nella configurazione server. Ma il problema sicuramente è quello dei codec.