quello con estensione .p12 devo caricarlo anche sul Keystore?? ma più che altro, si possono aggiungere i .p12 al Keystore??
Il .p12 è un keystore e quindi, ovviamente, non puoi inserirlo all'interno di un altro keystore. Tu in questo momento cosa te ne fai di questo p12? Non è che devi utilizzarlo come certificato client? ti sei informato su questo?

Fai una prova aggiungendo queste 3 semplici istruzioni:

codice:
props.setProperty("javax.net.ssl.keyStore", keyStorePath); //path del p12
props.setProperty("javax.net.ssl.keyStorePassword", keyPassword); //password del p12
props.setProperty("javax.net.ssl.keyStoreType", "PKCS12"); //tipo di keystore