In velocità ho sistemato il tuo codice: c'erano un po' di errori, e ti consiglio in ogni caso di mettere sempre il punto e virgola alla fine di ogni istruzione.
L'ho provato con Firefox e IE8.

[CODE]
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
"http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<title>Max 3 checkbox selezionate</title>
<script type="text/javascript">
function checkCount() {
var checkGroup = [];
var limit = 3;
for (var f=0; f<6; f++){
checkGroup.push(document.getElementById('vetrina'+ f));
for (var i=0; i<checkGroup.length; i++){
checkGroup[i].onclick = function() {
var checkedCount = 0;
for (var j=0; j<checkGroup.length; j++) {
checkedCount += (checkGroup[j].checked)? 1 : 0;
if (checkedCount>limit) {
alert("H