Molto semplice.

codice:
Function FormAperto(frmName As String) As Boolean
Dim frm As Form
FormAperto = False
For Each frm In Forms
    If frm.Name = frmName Then
        FormAperto = True
        Exit For
    End If
Next frm
End Function
Puoi usare questa funzione così:

codice:
If FormAperto("NomeTuoForm") Then
    'Fai così
Else
    'Fai cosà
End If
Il codice l'ho scritto direttamente qui, per cui è probabile che ci sia qualche svista

Boolean