Javascript lo sto ancora studiando quindi non sono espertissimo ma ad occhio e croce dipende dal fatto che l'eventuale return FALSE della funzione innescata con onclick non blocca il submit della form, ma la anticipa solo di poco (come è giusto che funzioni il metodo onclick).

Quello che potresti fare è mettere un button generico invece che un submit, ed un'istruzione location.href in cui passi dei parametri per la cancellazione solo se viene premuto ok.

Una cosa del genere insomma:

codice:
<input type="button" value="cancella" onclick="if(confirm('Si desidera eliminare ... ?')){ location.href = 'PATH_CON_VARIABILI_IN_GET_PER_IL_DELETE'}" />
Oppure se non ricordo male si può fare così:

codice:
<form .... onsubmit="return EliminaFY()">