se vuoi rimanere su toggleClass magari così funziona
codice:
$('.tag').click(function() { 
    $(this).toggleClass('tagChecked');
 });
toggleclass basta scriverlo una volta: se il nome della classe che vuoi inserire non c'è, lo inserisce; se c'è già lo rimuove.