Avendo il nome del file puoi mettere un link del tipo
Codice PHP:
<a href="www.sito.it/delete.php?nome=<?php echo $path.$file ?>Elimina</a>
E ti crei uno script "delete.php" che recuperi il parametro GET della query string e cancelli il file lì presente.

Hai però almeno un paio criticità, il percorso al file che potrebbe contenere caratteri che potenzialmente potrebbero interferire con il corretto funzionamento della querystring e/o spazi nei nomi dei file.
Il secondo problema è facilmente risolvibile, basta che rinomini i file o che ne modifichi il nome che metti nella query string e poi li riconverti (per esempio aggiungi _ al posto degli spazi quando costruisci la query string e poi ricambi _ in spazio nel codice dello script delete.php).