A parte la questione backslash (che regolarmente il forum se ne mangia qualcuna, per cui e` difficile commentare), c'e` un piccolo problema di logica.

Tu stai lavorando con due oggetti: un campo e una varibile.
Il campo e` document.mylink.maschera.value
La variabile e`
maschera

Nel tuo script, nella seconda istruzione riprendi quanto contenuto nel campo ed applichi la RE: ecco perche` ti perdi la prima sostituzione.

Quello che volevi fare si potrebbe (forse) scrivere:

var maschera = document.mylink.maschera.value;
maschera = maschera.replace(/\'/g ...;
maschera = maschera.replace(/\"/g ...;
document.mylink.maschera.value = maschera;

Ciao
Michele