Prova cosi:
if((!document.modulo.nomeradiobutton[0].checked) && (!document.modulo.nomeradiobutton[1].checked)){
alert("messaggio di alert");
document.modulo.nomeradiobutton.focus();
return false;
}

Attenzione sempre meglio indicare il percorso (documento.momeform.nomeoggetto) riferisi al solo nome in alcuni browser potrebbe non funzionare (vedi firefox)