penso che ti stai confondendo un po'.
Se l'indirizzo va bene la connessione viene accettata e puoi comunicare.
Se l'indirizzo non va bene, il server non accetta la connessione e visto che non l'accetta, come può inviarti il mex indirizzo non buono?
In questi casi dovresti interpretare l'errore connection refused come indirizzo non buono.

Altrimenti è da modificare il server in modo da accettare cmq la connessione solo per inviare il mex indirizzo non valido (ma penso sia uno spreco di risorse)