Hai provato con un preload, come si fa quando ci sono immagini molto grandi, non so se è applicabile anche ai file audio, ma provare non costa nulla.