Per rigor di logica in codice html non dovrebbero esistere elementi con stesso id.

Piuttosto dai una classe a questi e poi recuperi la lista.
Visto che usi Jquery basterebbe fare:
codice:
var lista_Elementi = $('.nomeclasse').size(); //numero elementi con classe passata

if(lista_Elementi== 0){
 $('#rimuovi').css('background-color', 'red');
}