puoi fare che nel suo pannello utente ci sia un form con metodo post che invia il file nome del file da cancellare. quindi il file lo prendi con $_POST e lo cancelli
altrimenti puoi aggiungere qualche sistema in modo che sia riconosciuto l'utente che vuole canellarlo (con variabili di sesione o simili) e che faccia un controllo (magari db) per vedere se ha l'autorizzazione a cancellarlo
questi sono solo spunti, poi elabora come meglio credi!