Guarda ho creato una cosa del genere:

Dim ds As New Data.DataSet

ds.DataSetName = "NuovoDataSet"
ds.Tables.Add("NuovaTabella")

ds.Tables("NuovaTabella").Columns.Add("Colonna1")
ds.Tables("NuovaTabella").Columns.Add("Colonna2")
ds.Tables("NuovaTabella").Columns.Add("Colonna3")

Dim rowVals(2) As String
rowVals(0) = "Valore1"
rowVals(1) = "Valore2"
rowVals(2) = "Valore3"

ds.Tables("NuovaTabella").Rows.Add(rowVals)

ds.WriteXml("\NuovoXML.xml")

Adesso però io vorrei che non creasse ogni volta un nuovo file xml che sostituisce quello vecchio, ma che in pratica ne creasse uno in caso non esiste e che ogni volta aggiunga un nuovo contenuto