Credo che il problema principale sia dovuto alla natura del controllo ListView stesso, molto più pesante rispetto ad altri controlli puramente grafici come il DataGrid.

Tra l'altro, si tratta di un controllo ActiveX, pertanto l'uso nel .NET Framework è particolarmente aggravato dal Platform Invoke, cioè dal passaggio da ambiente "gestito" ad ambiente "non gestito".

Suggerirei di usare un altro controllo o ricercarne uno simile nelle funzionalità, ma eventualmente basato su codice intermedio.

Ciao!