Ma avendo solide basi su Java e sull'ambiente "standard" (Java SE)?
(la domanda non è una critica)
"Nì". Nel senso che nelle applicazioni web ci sono anche altre considerazioni da fare. Una applicazione web potrebbe ricevere decine di richieste concorrenti. Se ad ogni richiesta (ovvero ad ogni esecuzione di doGet o doPost ...) vai a richiedere una nuova Connection .... allora rischi di avere grossi problemi di risorse e di performance.
Nelle applicazioni web è abbastanza tipico usare i connection pool, un insieme (generalmente ristretto, es. max 20) di Connection che vengono preallocate e riutilizzate.