"Deletare immagine uploadata"
Di 3 parole, 2 non esistono.

Sepolta la lingua italiana veniamo al problema: devi sapere come si chiama il file che vuoi cancellare, una volta che lo sai
Codice PHP:
if ( $file == $file_che_vuoi_cancellare )
{
    unlink($dir.$file);
} 
Oppure senza ciclo while fai direttamente
unlink($dir.$file_che_vuoi_cancellare);

se esiste lo cancella, altrimenti non fa niente.