Mi sa che hai le idee un po' confuse... MySQL è già lui un DBMS... Così come anche SQLite... Quindi non ti servono altre librerie (se non i connector, che ti servono a interagire con il database direttamente dal codice Java... Ma questo è un altro discorso...). In pratica, sono due strumenti che appartengono alla stessa categoria e fanno praticamente la stessa cosa... Solo che MySQL è più sofisticato e permette di fare più cose (d'altro canto devi installare un server), invece SQLite ha funzionalità più ridotte ma ha il vantaggio di non essere legato ad un server da installare... Quindi, in questo caso, puoi fare tranquillamente delle applicazioni portabili da distribuire a chi vuoi con l'utilizzo a tutti gli effetti di un DBMS...
Detto ciò, tu cosa vorresti fare precisamente? Non ho capito se vuoi rimanere su MySQL e ti manca qualcosa oppure stai cercando altro proprio come sostituto dello stesso MySQL...