NaN = Not a Number
infatti i valori ritornati dai tuoi radio button saranno considerati come delle stringhe.
Prova a fare così:
codice:
function calculateTotal() {
  var theRadio = document.form[nomeForm].elements.[nomeRadio]
  var intTotal = 0;

  for (i = 0; i < theRadio.length; i++) {
    intTotal += parseInt(theRadio[i].value);
  }
  
  window.alert("Tot: " + intTotal);
}