http://dev.mysql.com/doc/refman/5.1/en/load-data.html
load data infile "c:/tuo_path/tuofile.txt" into table tua_tabella
poi con una insert into select in una nuova tabella rimuovi i duplicati
http://dev.mysql.com/doc/refman/5.1/en/load-data.html
load data infile "c:/tuo_path/tuofile.txt" into table tua_tabella
poi con una insert into select in una nuova tabella rimuovi i duplicati