direttamente dal selettore
$('input[type=checkbox]:not(:checked)')

o con una scrematura in base "not"
$('input[type=checkbox]').not(':checked')