Per tutte le form esiste già una collection che contiene tutti i form aperti dall'applicazione, a da dove puoi leggere tutte òle proprietà dei form. Magari nel tag del form ti memorizzi il file aperto, poi in un ciclo del genere trovi se il form per qul file è già aperto

codice:
Dim frm As Form
For Each frm In Forms
   if frm.TAG=tuoFile then
      msgbox "già aperto"
   end if
next from