Dovresti a mio avviso togliere le coordinate assulute del form all'interno del desktop

così:
New Point(Cursor.Current.Position.X - Me.Location.X - 5, Cursor.Current.Position.Y - Me.Location.Y - 5)

ho provato e ho visto che funge (avevo pure io un problema simile)

Ciao
daniele