come contro prova, questo a me risulta funzionare
codice:
<script type="text/javascript">
function funzione(){
	var controllo = false;
	var bottone = document.modulo.elements['nome[]'];
	for(var i=0; i<bottone.length; i++) {
		if(bottone[i].checked) {
			controllo = true;
			break;
		}
	}
	if(!controllo) {
		alert('nessuno segnato')
		return false
	}	
}
</script>

<form name="modulo" onsubmit="return funzione()">
<input type="checkbox" name="nome[]" />
<input type="checkbox" name="nome[]" />
<input type="submit" />
</form>