Stai usando una definizione di SendMessage per VB6, i tipi sono tutti sbagliati, per cui vai a sfasciare lo stack.
Una dichiarazione adatta può essere:
codice:<DllImport("user32.dll", SetLastError:=True, CharSet:=CharSet.Auto)> _ Private Shared Function SendMessage(ByVal hWnd As IntPtr, ByVal Msg As UInteger, ByVal wParam As IntPtr, ByVal lParam As IntPtr) As IntPtr End Function