carissima Mara, benvenuta a bordo.
prima di tutto ti consiglierei di utilizzare, per la tipologia, tre radiobutton e non tre checkbox: così facendo limiti direttamente la possibilità di scelta a una delle tre opzioni.

infine, ecco qui una funzioncina per il tuo secondo problema:

codice:
function controllo(f) {
 var st=f.sceltatavolame;
 var sf=f.sceltafrise;
 if (f.tipologia[0].selected) {
  if (!(f.sceltatipologia[0].selected || f.sceltatipologia[1].selected || f.sceltatipologia[2].selected)) {
   alert("Selezionare una tipologia di tavolame.");
   return false;
 }
 if (f.tipologia[2].selected) {
  if (!(f.sceltafrise[0].selected || f.sceltafrise[1].selected)) {
   alert("Selezionare una tipologia di frise.");
   return false;
 }
 return true;
}
da avviare così:

codice:
<form action="ordini2.php" method="Post" name="frm" onsubmit="return controllo(this);">
ovviamente "sceltatavolame" e "sceltafrise" sono i gruppi di radiobutton per tavolame e frise, mentre "tipologia" è il gruppo di radiobutton che sostituiscono gli attuali checkbox.

ciao