Il problema secondo me è che VB.NET scrive nel file in UTF-8, il Notepad lo riconosce correttamente, mentre WordPad no, e lo interpreta come ANSI (per cui compaiono i simboli indesiderati).