prova così:

codice:
function controllo() {
 if (!document.nomeform.nomecheckbox.checked) {
  alert("Selezionare il checkbox.");
  return false;
 }
 return true;
}
da usare così:

codice:
<form onsubmit="return controllo();">