Si fa così:

' E' necessario usare la conversione Ctype, per colpa di "option strict on"
Dim xmlEl As XmlElement = CType(doc.DocumentElement.SelectSingleNode("/root/b"), XmlElement)
Dim userXML As XmlAttribute
userXML = doc.DocumentElement.SelectSingleNode("/root/b").Attributes("user")
xmlEl.RemoveAttributeNode(userXML)
xmlEl = Nothing
userXML = Nothing
Ecco!
Spero che sia stato di aiuto a qualcuno!!!