Mi pare che il problema sia già stato trattato sul forum, cmq nel tuo caso, se i campi sono checkbox devi usare una cosa del genere:

codice:
function checkMax () {
  var checkbox = document.nomeModulo.elements;
  var checks = 0;
  for (i=0;i<checkbox.length;i++) {

    if (checkbox[i].type == "checkbox" && checkbox[i].checked == true) {
         checks++;
    }

  }

  if (checks > 3) {
    alert ("errore");
    return false;
  } else {
  return true;
}