Se usi Netbeans dalle proprieta' di progetto in Libraries aggiungi il jar rxtx e spunti Package così la include nel jar e non dovrebbe richiedere piu' che il jar sia presente nella cartella della JVM.

Per aggiungere la dll invece è un po' piu' complicato. Devi aggiungere la dll nel jar dell'applicazione da Build>Packaging>Add File/Folder e poi devi caricarla in memoria manualmente.

Nel senso che nel main della classe java che viene richiamata dall'exe, prima di usare qualsiasi metodo o classe che richiede la libreria dll, la devi salvare in una cartella (temporanea o dove vuoi tu) e caricarla in memoria con System.loadLibrary()