Ti basta eseguire il file .exe che viene generato dal compilatore.

Se tu prendi il file .exe e lo sposti in una cartella, quando lo lanci funziona esattamente come quando lo lanci dall'IDE (e se usi qualche file esterno, devi fornirgli anche quello).

Se invece vuoi fare un installer, devi fare il "deployment" del tuo progetto. Qui trovi le istruzioni:
http://www.startvbdotnet.com/extras/deploy.aspx