con navigator.userAgent ti restituisce una stringa che contiene anche il SO usato.
con un metodo come indexOf() puoi capire se stai su mac OS o Win o altro.

cosi:
if(navigator.userAgent.toLowerCase().indexOf("maci ntosh") < 0){// no mac OS;

fai questo

}
else{ // si è mac OS

fai alrto.

}

in alternativa c'è anche navigator.platform (ti restituisce Mac PPC !!) ma non so se Win lo supporti, tuttavia è sfruttabile, non credi??

Ciao!