Usi un contatore che viene incrementato ogni volta che si clicca su un checkbox e quando raggiunge il valore di 3, rendi tutti gli altri disattivii con setEnabled (false)... mi pare che così funzioni, prova