file_exists() è una funzione di PHP che verifica l'esistenza del file passato come parametro. Allora il ragionamento è questo: il file viene eliminato, dunque, al reload della pagina, quando deve essere inserita l'immagine, viene fatto il controllo sull'esistenza della stessa.

Il file immagine chiaramente non esiste più (è stato appena eliminato), dunque la funzione restituisce FALSE (file inesistente) e il blocco di codice relativo all'IF (ovvero l'inserimento dell'immagine) non viene eseguito, dunque il tag HTML <img > non viene scritto e di conseguenza la "croce rossa" scomparirà.

Quindi devi inserire il codice dove ora c'è il tag <img>!