Ma perchè non fai al contrario?

Mi spiego meglio...fatti l'elenco delle cartelle e dei rispettivi file contenuti all'interno...intabellati...
Se clicchi sopra al file, farai l'unlink solo di quel file. Se invece clicchi sulla cartella farai il rmdir() di quella cartella