Non so se questo metodo è il più semplice, però funziona:
codice:
            string[] ff = Directory.GetFiles("c:\\temp", "*.txt");

            foreach (string f in ff)
            {
                //Console.WriteLine(f);
                File.Delete(f);
            }