DMG non è un eseguibile, è solo un contenitore.

Per "trasfromare" il tuo jar in un .app (che non è altro che una cartella rinominata e riconosciuta come applicazione dal sistema operativo) ti serve un tool come Jar Bundler. Quando usavo il mac era distribuito con OS X stesso, ora non so.