Se un'altra applicazione la apre, da vb non riesci + a chiuderla.
Credo che l'unica soluzione sia aprire la porta e chiuderla solo al momento del bisogno. Con winsock va bene. Mettiti in ascolto della porta e non accettare nessun tentativo di connessione.

WS.LocalPort = 2345
WS.Listen

Il problema è: quando ti serve questa porta? Riesci a capire quando chiuderla?