Ho risolto scrivendo manualmente le altre 45 linee.
A mali estremi, estremi rimedi 
Da quel che ho capito il problema mi si è proposto perchè sono all'interno della stessa matrice
Non esattamente. Il problema sta proprio nella definizione degli array che di fatto sono gestiti per riferimento.
Il tuo caso è particolare perché stai lavorando con un array bidimensionale, sostanzialmente un array di array.
Analizzando però un caso più semplice forse riesco a porlo in maniera più semplice.
Considera questo esempio:
codice:
// Definisco un array
var arrX = ['a','b','c'];
// Passo l'array ad una seconda variabile.
// Questo passaggio avviene sempre per riferimento
var arrY = arrX;
// Ora modifico un elemento della seconda variabile.
arrY[0] = 'pippo';
// Faccio un output del primo array
alert(arrX); // output: ['pippo','b','c']
Da notare che nonostante abbia modificato l'array della seconda variabile (arrY) è stato modificato anche l'array della prima variabile (arrX); questo perché alla seconda variabile (arrY) è stato assegnato un riferimento dell'array definito nella prima variabile, non il suo valore.
Il discorso non cambia nel caso di array a più dimensioni.
Gli array interni sono a loro volta degli oggetti array in tutto e per tutto, quindi puoi passarli a qualsiasi altra variabile (che sia questa una semplice variabile o un elemento di un array); questo passaggio avviene sempre per riferimento.
Considera questo esempio, analogo al precedente ma in cui ho usato un array bidimensionale:
codice:
// Array principale
var arr = [];
// Definisco un array secondario assegnandolo all'elemento 0 dell'array principale
arr[0] = ['a','b','c'];
// Passo l'array secondario all'elemento 1 dell'array principale.
// Questo passaggio avviene sempre per riferimento dal momento che sto passando un array.
arr[1] = arr[0];
// Ora modifico un elemento dell'array secondario definito nell'elemento 1 dell'array principale
arr[1][0] = 'pippo';
// Faccio un output dell'elemento 0 dell'array principale
alert(arr[0]); // output: ['pippo','b','c']
.
Anche in questo caso il risultato è uguale al precedente, con la sola differenza che ho usato degli elementi di un array anziché delle semplici variabili, esattamente come il tuo caso.
Per cui, il fatto che tu sia all'interno della stessa matrice è irrilevante, conta solo il fatto che stai passando le matrici interne ad un'altra variabile (che sia una semplice variabile o un elemento della matrice principale), e questo avviene per riferimento.
Spero di aver chiarito o, quantomeno, di non averti confuso maggiormente le idee