[C#] Problema conversione da Esadecimale ad ASCII

[Wismeryl]

Ciao a tutti, sto sviluppando la parte server di un applicativo.

Fra le varie operazioni che deve effettuare il server c'è la gestione in entrata ed uscita di una stringa di dati in ASCII.
In entrata mi arriva una stringa di 52 byte, che converto in Esadecimale utilizzando contemporaneamente un Encoding Unicode, e sono certo che i dati che mi arrivano sono giusti, anche tenendo conto delle tabelle ASCII estese.

Bene una volta arrivata la stringa, devo compiere alcune operazioni e restituire indietro una stringa più corta di cui questo è un esempio in Esadecimale: "00024944554E49563130434800A0". Il mio problema è in questa parte del processo, ovvero quando converto la Esadecimale ad ASCII, sto utilizzando questo codice per la conversione e, apparentemente funziona, ma non gestisce le tabelle estese ASCII, per cui l'ultima parte della stringa 00A0 quando la converto in ASCII e la rispedisco arriva come 003F.
Come posso fare invece, affinché la conversione avvenga come desidero io?

public static string HextoAscii(string HexString)
{
    string asciiString = "";
    for (int i = 0; i < HexString.Length; i += 2)
    {
        if (HexString.Length >= i + 2)
        {
            String hs = HexString.Substring(i, 2);
            asciiString = asciiString + System.Convert.ToChar(System.Convert.ToUInt32(HexString.Substring(i, 2), 16)).ToString();
        }
    }
    return asciiString;
}

Grazie in anticipo dell'aiuto.