Ho capito il tuo problema: non vuoi bean, non vuoi DAO, non vuoi la separazione tra "chi fa le cose" e "chi visualizza", vuoi gestire dati grezzi tra la tabella e buttarli direttamente sul database possibilmente in un unico file.
Lo puoi fare, è errato e fondalmentalmente non stai programmando ad oggetti. Il fatto che devi fare tutti questi controlli (basterebbe un if not null non proprio un try catch) dovrebbe farti fermare a riflettere che qualcosa non va.

Il fatto che dici "ho provato ad usare livelli intermedi ma rallenta", cerca di capire quale è il collo di bottiglia e di sistemare, no che salti passaggi e ti ritrovi perso tra try catch e if per far quadrare tutto.
Il punto è che questi livelli intermedi, se fatti bene, ti proteggono da situazioni di questo tipo, ti aiutano a sviluppare e a gestire la rubrica.
Fai funzionare tutto senza grafica, usando il giusto approccio (quello che ti sembra lento): la grafica è l'ultimo dei tuoi pensieri e poi vedrai che se hai fatto le cose bene, non ci vuole molto ad aggiungere una GUI