Prova così:

codice:
var inputs = document.getElementsByTagName('input')
var checks = new Array()
var checked_checks = new Array()

for (var i = 0; i < inputs.length; i++)
{
   if ( inputs.item(i).getAttribute('type') == 'checkbox' )
   {
      checks.push(inputs.item(i))
   }
}

for (var i = 0; i < checks.length; i++)
{
   if ( checks[i].checked == true )
   {
      checked_checks.push(checks[i])
   }
}

// Vedi poi tu come devi gestire l'errore
if ( checked_checks.length == checks.length )
{
   alert('Troppi campi selezionati')
}