si devi prima svuotarla...
sul manu c'è anche l'esempio per fare quello che chiedi:
http://php.benscom.com/manual/it/function.rmdir.php