Ti chiedo scusa, ma proprio non riesco.

ho modificato così, id univoco, nome del campo sempre array:

<input type="checkbox" class="checkbox" value="1" name="vetrina[]" id="vetrina0" />
<input type="checkbox" class="checkbox" value="2" name="vetrina[]" id="vetrina1" />
<input type="checkbox" class="checkbox" value="3" name="vetrina[]" id="vetrina2" />
<input type="checkbox" class="checkbox" value="4" name="vetrina[]" id="vetrina3" />
<input type="checkbox" class="checkbox" value="5" name="vetrina[]" id="vetrina4" />
<input type="checkbox" class="checkbox" value="6" name="vetrina[]" id="vetrina5" />

il js che ho provato ad implementare per il controllo è questo

for (var f=0; f<6; f++){
var checkgroup = document.forms.form.getElementById(vetrina[f]);
var limit=3
for (var i=0; i<checkgroup.length; i++){
checkgroup[i].onclick=function(){
var checkedcount=0
for (var i=0; i<checkgroup.length; i++)
checkedcount+=(checkgroup[i].checked)? 1 : 0
if (checkedcount>limit){
alert("Hai superato il limite: "+limit+" non di piu")
this.checked=false
}
}
}
}