Non si può fare, ogni volta che ricarichi pagina, il file viene richiamato e quindi riparte la riproduzione dell'audio.

L'unica cosa che puoi fare è dividere la pagina in due frame e metterne uno al 100% e l'altro allo 0%. Nel frame allo 0% ci fai andare il player con l'audio, mentre in quello al 100% ci fai girare tutto il sito.