Stai usando una definizione di SendMessage per VB6, i tipi sono tutti sbagliati, per cui vai a sfasciare lo stack.
Una dichiarazione adatta può essere:
codice:
<DllImport("user32.dll", SetLastError:=True, CharSet:=CharSet.Auto)> _
Private Shared Function SendMessage(ByVal hWnd As IntPtr, ByVal Msg As UInteger, ByVal wParam As IntPtr, ByVal lParam As IntPtr) As IntPtr
End Function