Se fai un return, quello che segue non viene eseguito. Prova con:
codice:
var conto=0;
function conta(quale){
  conto += (quale.checked)?1:-1;
  if(conto >= 3){
    if(confirm("sei sicuro?")) quale.form.submit();
  }
}

...
input type="checkbox" onclick="conta(this)"
...