Se tutto quello che ti serve è un sottofondo alle diverse pagine, bgsound dovrebbe bastare.
Ho usato con successo BGSOUND sia con file MID che con MP3 che con WMA.
Sei sicuro che il path dei file audio da suonare siano corretti?

Una alternativa è senz'altro EMBED/OBJECT (non solo embed, sennò non funzianerà su altri browser) in maniera analoga a quanto specificato da luca1962.
Vedi un manuale html per i parametri da usare con EMBED ed OBJECT e circa come annidiarli l'uno nell'altro.