innanzitutto devi aver dato un nome a ogni checkbox del tuo form e al click far partire la funzione js che fa al caso tuo.
ad esempio:
<input type="checkbox" name="nomecheck" onclick="javascript:fun_disabilita();">

la funzione deve essere così:

codice:
function fun_disabilita(){
	 if (document.nomeForm.nomecheck.disabled = false) { 
	    document.nomeForm.tutti.disabled = true;
	}
	return true;
}
poi giostra un po' a seconda delle tue esigenze...