http://it2.php.net/manual/it/function.rmdir.php

dice chiaramente che la directory deve essere vuota.

Tra i commenti sotto sicuramente c'è qualche buona funzione che cancella tutto il contenuto, altrimenti se preferisci ti puoi affidare ad una opportuna chiamata di sistema (ma preferisco la funzione io)