XNA è un framework basato su qualcosa di esistente, nel caso fa uso delle DirectX9 o 11 o 12 a dipendenza della possibilità, dettata dal sistema operativo.
Immagino che, essendo Microsoft XNA morto, ti stia riferendo alla re-implementazione dello stesso data da MonoGame, il quale fa uso delle SharpDX per poter essere programmato in C#.
Altrimenti per usare le originarie librerie DirectX sei obbligato ad utilizzare il linguaggio di programmazione più comune nei giochi C++.
Il fatto di accedere direttamente alle DirectX dipende molto da te, chiaramente in prestazioni qualcosa guadagni, perché potesti mirare sugli aspetti più importanti per il tuo progetto, però devi sapere che dovresti implementare tutto, anche le cose più scontate come il ciclo di gioco, la visione a schermo, .. , etc.