layer5 e' una stringa come qualsiasi altra, quindi
lay='layer5'

all' interno della funzione, invece

document.getElementById(lay).style.backgroundColor =colore;

vuoi utilizzare il valore passato come argomento alla funzione
non il nome dell' argomento come stringa

a parte questo, prova e vedi se va
ciao