prima cosa da capire: mysql o php.

fai un "giro a secco" e cronometra i tempi
(=togli la parte di INSERT dentro PHP, ma lascia tutto il resto uguale).
Quanto impiega php a leggere ed elaborare il CSV?

(ps e, per inciso, perchè non glielo fai caricare direttamente, a mysql?)