I radio sono delle collezioni di oggetti, che si testano con dei vettori:

Quindi:
if (!document.nomeform.nomeradio[0].cheched &&
!document.nomeform.nomeradio[1].checked) {
alert("nessun radio selezionato");
}