Codice PHP:
if (! document.form.nomebutton[0].checked && ! document.form.nomebutton[1].checked) {
...nessuno dei due è selezionato...
} 
sempre che si tratti di pulsanti radio, come ha detto mich_, e ovviamente che abbiano lo stesso nome