per verificare se il mouse è stato cliccato su un elemento o meno devi usare il metodo HitTest sull'evento MouseDown
codice:
Dim item as object
If ListView1.HitTest(x, y) Is Nothing Then
   'deseleziono tutto
   For Each item In ListView1.ListItems
      item.Selected = False
   Next item
end if