uhmm...sei molto vicino all'illegale. Tu dici che la password è tua, in realtà io non ho la certezza che il keystore sia tuo.

Ci sono dei modi che io definirei "illegali" di recupero password, ma basano sulla conoscenza ottima dell'implementazione java del keystore (cosa che non credo tu abbia)

Non credo che tu non possa cambiare keystore (banalmente se ti scade il certificato o se lo mettono in una crl devono darti la possibilità di cambiarlo). Quindi informati bene sulle condizioni di cambio del keystore che usi per firmare