Non sono un esperto del .NET Framework ma, a quanto mi risulta, i linguaggi sono per lo più intercambiabili, quindi puoi usare VB.NET senza tanti problemi.
A confermare la mia tesi c'è anche il fatto che tutti i linguaggi vengono compilati nello stesso bytecode permettendo l'iteroperabilità.
Poi non conosco bene Xna e nemmeno la totalità delle librerie Microsoft, quindi non so dirti che svantaggi ci possano essere, comunque tieni conto che in ogni mia risposta ad un thread in VB.NET io prima penso in C# e poi traduco in VB...
Tengo a precisare che il C# è un linguaggio totalmente differente dal C, e anche dal C++, pur ammettendo che ha delle caratteristiche comuni ad essi e derivate da loro.