Facciamo così ... guarda questo ...

codice:
        Dim bF As Boolean


        For i As Integer = ListBox1.Items.Count - 1 To 0 Step -1
            bF = False
            For j As Integer = 0 To ListBox2.Items.Count - 1
                If ListBox1.Items(i).ToString() = ListBox2.Items(j).ToString() Then
                    bF = True
                    Exit For
                End If
            Next
            If Not bF Then
                ListBox2.Items.Add(ListBox1.Items(i))
                ListBox1.Items.RemoveAt(i)
            End If
        Next