Non conosco XAMPP, ma da quello che ho letto facendo una rapida ricerca sembrerebbe una distribuzione di software contenente Apache, MySQL, PHP + PEAR, Perl più altro. Quindi non vedo il nesso con C#, se non quello di usare MySQL. Se vuoi usare MySQL puoi installare solo quello, senza scomodare Apache & famiglia. MySQL però è un database che per funzionare non solo richiede l'installazione del motore server ma richiede (temo) che il database risieda su un supporto non rimovibile.
I cosiddetti database su file, che non richiedono l'installazione di un motore server, sono quelli che vedi per esempio in questa lista, nella parte della pagina denominata "Data Files". Tra i più conosciuti c'è sicuramente Access, ma ti consiglio di dare un'occhiata anche a SQLite, usato se non sbaglio anche in Firefox come database di appoggio.