Non funziona perché tu aggiungi tutto il contenuto del file in un unico Item, inoltre usi in modo sbagliato il metodo .Add.
Io farei così (ovviamente poi dovrai aggiungere quello che ti serve, come costrutti per intercettare errori ecc.)

codice:
Dim File as String = IO.File.ReadAllText("percorso")
For each c as String in File.Split(VbCrLf)
    ListBox1.Items.Add(c)
Next
Se hai qualche domanda sui metodi che ho usato basta che cerchi su Google