Il modo "classico" sarebbe usare OLE (se supportato dall'applicazione da incorporare), ma è una tecnologia vecchia e tra l'altro VB.NET non mi pare la supporti nemmeno. In alternativa, puoi lanciare l'eseguibile e cambiare il "padre" della sua finestra alla tua finestra, ma in genere non è una buona idea. Cosa stai cercando di fare esattamente?