carissima Mara, benvenuta a bordo. 
prima di tutto ti consiglierei di utilizzare, per la tipologia, tre radiobutton e non tre checkbox: così facendo limiti direttamente la possibilità di scelta a una delle tre opzioni.
infine, ecco qui una funzioncina per il tuo secondo problema:
codice:
function controllo(f) {
var st=f.sceltatavolame;
var sf=f.sceltafrise;
if (f.tipologia[0].selected) {
if (!(f.sceltatipologia[0].selected || f.sceltatipologia[1].selected || f.sceltatipologia[2].selected)) {
alert("Selezionare una tipologia di tavolame.");
return false;
}
if (f.tipologia[2].selected) {
if (!(f.sceltafrise[0].selected || f.sceltafrise[1].selected)) {
alert("Selezionare una tipologia di frise.");
return false;
}
return true;
}
da avviare così:
codice:
<form action="ordini2.php" method="Post" name="frm" onsubmit="return controllo(this);">
ovviamente "sceltatavolame" e "sceltafrise" sono i gruppi di radiobutton per tavolame e frise, mentre "tipologia" è il gruppo di radiobutton che sostituiscono gli attuali checkbox.
ciao