Concettualmente funziona cs variazioni troppo repentine della derivata del tuo audio sn molto probabilmente valori da scartare.
Puoi provare ad usare le DirectX, DirectSound e DirectSoundFx e vedere se riescono a togliere il fruscio (prova cn Google IDirectSoundCaptureFXNoiseSuppress) . Cmq a volte viene usato il boost in fase di registrazione, boosta anche il fruscio. prova a toglierlo.