Sei sicuro che il server in VB sia in attesa di una connessione sulla porta indicata? Ho visto, poi, che come indirizzo hai usato il loopback (127.0.0.1), quindi immagino che il server lo farai girare in locale rispetto al client... oppure ti sei dimenticato di cambiare il valore dell'IP??
Il codice che hai postato mi sembra corretto.
Ciao.