mi puzza che devi per forza aprire la directory e cancellare tutti file in essa contenuta, usando opendir, readdir e unlink.....

Poi puoi cancellare la directory con rmdir...