Non so cosa e come devi lavorarci.
Personalmente aprirei il file e sostituirei tutte le stringhe (" ") con un carattere pipe (|),
poi eliminerei i doppi apici iniziale e finale, e a quel punto avrei ottenuto un file un po' più semplice da gestire.

Comunque questo codice risolve, in parte, il tuo problema
codice:
        Dim myPath As String = "D:\prova.txt"
        Dim i As Integer, k As Integer
        Dim s As String = ""
        Dim sSeparator As String = """ """
        Dim sr As New System.IO.StreamReader(myPath)
        ' carico le linee in un array
        Dim sLines() As String = sr.ReadToEnd.Split(CChar(vbCrLf))
        sr.Close()

        ' eseguo lo split di ogni riga sul carattere separatore di campo
        ' così elimino i separatori
        For i = 0 To sLines.Count - 1
            Dim myRow() As String = sLines(i).Split(CChar(sSeparator))
            For k = 0 To UBound(myRow)
                ' ricostriusco la riga, che ora non ha più i separatori
                s += myRow(k)
            Next k
            ''''s += vbCrLf
        Next i
        TextBox1.Text = s
Il codice è 'didattico' nel senso che non sapendo come devi gestire i dati dovrà essere modificato sulle tue esigenze.