che io sappia non puoi cancellare una dir se all'interno ha dei files, quindi devi prima cancellare quelli. Lo puoi fare tranquillamente attraverso un ciclo che ti scorre la dir, guarda gli esempi sul manuale per scorrere la directory, poi una volta che è vuota la puoi cancellare direttamente.

http://it.php.net/manual/it/class.dir.php