Quando la modal è attiva viene inserita la classe .show
Quindi verificando la presenza di tale classe puoi capire se la modal è aperta o meno.