In .NET sarebbe meglio usare i metodi d'istanza della classe String... per cui
codice:
testo = testo.Remove(testo.Length-2,2)
.
O, in alternativa
codice:
            For a As Integer = 0 To 4
                testo += dataSet.Tables(0).Rows(i).Item(a) + """"
                If a<4 Then testo +=  ";"""
            Next
.