Mi sa di no ... questa e' una caratteristica del TCP.
Alla chiusura del socket, la porta e' in TIME_WAIT in genere di 240 secondi, per permettere all'ultimo segmento (inviato in precedenza) eventualmente presente ancora in rete, di scadere. Questo per evitare eventuali duplicazioni.

In tutti i casi mi sembra strano che tu non debba poter cambiare la local port.