Io con alcuni file csv di 4000 righe sono andato fuori tempo nell'esecuzione del processo su PHP, quindi è normale che su file che possono arrivare a 60.000 righe tu non possa operare in una botta sola.

Per me dovresti troncare i file in tanti (non tantissimi) file più piccoli e poi prenderli 1 alla volta e gestirteli. Nella gestione carica il primo piccolo file del tuo primo csv, te lo scorri, correggi, manipoli e dopo i dovuti controlli lo inserisci nel DB.

Questa è una soluzione molto rozza, magari aspetta che qualcun altro ti dia un consiglio migliore.