Scusa, che protocollo stai usando per la comunicazione client - server?
Ho avuto lo stesso problema. L'unico modo di fermare in thread in modo indolore è quelli di rilasciarne tutte le risorse usate.