Ho un file di testo dove ogni linea è fatta così:

email|mittente|status

esempio:
gianluca@boh.com|vanni@ciaociao.it|1

vorrei PARSARE un txt grande 500 mb e creare un nuovo txt in modo tale da togliere tutte le righe in cui "email" sia ripetuta più volte.

Esistono algoritmi veloci?