Prova cosi:
form
codice:
<form method="get" name="tipue" target="_self" id="tipue" onsubmit="return azione(this.form)">
      <table width="186" cellpadding="0" cellspacing="0">
        <tr>
          <td align="left" class="testoContenuti"><input type="text" name="q" class="testoForm">
            

            <input name="sito" type="radio" value="risultatiRicerca.asp" />
Cerca nel sito 

              <input name="sito" type="radio" value="http://www.google.it/custom" />
              Cerca nel web 
              

              <input type="submit" class="testoForm" value="Cerca"/>
</td>
        </tr>
      </table>
</form>
funzione
codice:
<script language="JavaScript" type="text/javascript">
function azione(nomeForm) {
var Selezione = document.tipue.elements['sito']
			if(Selezione[0].checked){
  document.tipue.action="risultatiRicerca.asp";
  document.tipue.submit()
}
else if(Selezione[1].checked){
  document.tipue.action="http://www.google.it/custom";
  document.tipue.submit()
}
else {
  alert('scegli tra pubblico e privato!');
  return false;
}
}
</script>