Mah ... dipende da quanto più impegnativa è l'operazione di Remove rispetto allo scambio di due Item e di quanti Item ci sono nella lista. Adesso non saprei quantificare.
Per quello volevo vedere un esempio fatto bene, per quantificare con dei test. Per come l'ho immaginato io non andrebbe affatto meglio, ma il punto è che sicuramente c'è un modo migliore.