Intanto per <form> non devi mettere nessun value, per l'input submit come value devi mettere "Elimina file" ed il nome del file lo devi passare in un altro input di tipo text eventualmente non modificabile, comunque permettimi di dire che è un approccio che fa schifo, quello che ti ho postato è non dico il meglio che ci sia ma molto più sensato, seppur molto semplice, ti dava qualche problema?