Il FormStyle non ha a che vedere con le finestre modali.

Probabilmente, stai creando - esplicitamente o implicitamente - una finestra non modale dopo l'apertura della finestra modale.

Ricontrolla attentamente la sequenza con cui vengono aperti i Form della tua applicazione.

Ciao!