non puoi fare un'alert da una servlet ma puoi tornare alla pagina della form e visualizzare un normale messaggio di errore (ex. scritto in rosso) che avvisa in merito a cosa e' andato storto.

nel caso piu' semplice del mondo:

nella servlet:
codice:
if(bla bla bla) {//errore!
    request.setAttribute("errore", "errore in bla bla bla");
    request.getRequestDispatcher("pagina_con_form.jsp").forward(request, response);
    return;
}
nella jsp dove vuoi far comparire l'errore (se presente)
codice:
<c:if test="${! empty errore}">
    <c:out value="${errore}"/>
</c:if>