Stai sbagliando. Su tutti e due le Form nel menù c'è la voce Normale e scentifica ma chiaramente sulla Form 'Scentifica' alla voce 'Scentifica nel menu (sull'evento Click) non dovrai mettere ancora il .ShowDialog perche ci sei già.
In patica:

codice:
Public Class Normale

    Private Sub ScentificaToolStripMenuItem_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles ScentificaToolStripMenuItem.Click
        Me.Visible = False
        Scentifica.ShowDialog()
        Me.Visible = True
    End Sub

    Private Sub ScientificaToolStripMenuItem_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles ScientificaToolStripMenuItem.Click

    End Sub
End Class

Public Class Scentifica

    Private Sub ScientificaToolStripMenuItem_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles ScientificaToolStripMenuItem.Click
        Me.Close()
    End Sub

    Private Sub ScentificaToolStripMenuItem_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles ScentificaToolStripMenuItem.Click

    End Sub
End Class