E allora con vai in questo evento:
codice:
Private Sub Form1_Closing(sender As Object, e As System.ComponentModel.CancelEventArgs) Handles MyBase.Closing
   Form2.Close()
End Sub
Se hai creato più istanze di Form2 questo potrebbe non funzionare...