Cosa significa creare un eseguibile per la base dati che installi il programma java?
Se hai creato un'applicazione desktop in Java che vuoi dare a qualcuno devi assicurarti che ci sia l'ambiente di runtime (JRE, prelevabile dal sito Oracle), dopodiché questo qualcuno può lanciare tranquillamente la tua applicazione senza fare altro...
In quanto al database, ti consiglio anch'io SQLite e mi sembra strano che tu non abbia capito come utilizzarlo se ha già esperienza di PostgreSQL... In ogni caso devi andare sul sito di SQLite e farne il download a seconda del sistema operativo... Per Windows si tratta semplicemente di un jar e di una dll... Poi, magari potresti creare una classe con le diverse funzioni che ti servono: una che carica JDBC, una che fa le insert, ecc... Insomma a te la scelta delle personalizzazioni...