rmdir() funziona su una cartella vuota.

se la cartella contiene file occorre una funzione recursiva.

cerca su google:

"function recursive rmdir php" è traiverai ciò che cerchi