Senza stravolgere tutto dovrebbe bastare aggiungere una riga alla tua funzione, non l'ho provato ma dovrebbe andare. Ciao ciao.
codice:
<script language="javascript"> 
var conto=0;
function conta(quale){
  conto+=(quale.checked)?1:-1;
  if(conto>5){
     quale.checked = false;
     alert("Puoi scegliere al massimo 5 possibilitā");
  }
}
</script>