Probabilmente:

codice:
system("RMDIR /S /Q C:\\cartellaDaEliminare");
I backslash sono caratteri speciali e vanno quotati.
E se il nome della cartella contiene degli spazi, bisogna usare le virgolette.

Ciao.