Se sei sicuro che il programma si blocca in quel punto prova a sostituire il logger con System.out.println(); cosi puoi vedere se il problema è veramente lui... altrimenti puoi mettere un altro costrutto try{}catch(){} annidato cosi da catturare gli eventuali errori del logger.
Un altra cosa se utilizzi la libreria org.apache.log4j.Logger puoi scrivere cosi:
Logger.getLogger( ServerWorker.class ).error("testo", ex );
Anche se non mi piace molto come soluzione.
Ciaoo