Allora:

- la prima foto lo ha il link solo che è quello sotto perchè tu dopo la foto metti un accapo (<br>);
-nella pagina elimina.php devi solo cancellare l'immagine che passi senza dover rileggere tutta la cartella.

esempio che devi adattare
Codice PHP:
//recupero la variabile GET
$file = $_GET['nome'];
//imposto la cartella
$car = 'photos';

//elimino l'immagine
unlink($car."/".$nome);

//codice per reindirizzare all'elenco