No, LOAD DATA INFILE non funziona con campi a larghezza fissa. Nel manuale è pure citato come caso particolare:
http://dev.mysql.com/doc/refman/5.1/en/load-data.html
e cerca "Fixed-size rows".

Un'alternativa molto più veloce è utilizzare una conversione a due stadi ma non come fai adesso.

Fai un programma PHP che piglia il file di testo in entrata e genera un altro file di testo in uscita in un qualsiasi formato supportato da LOAD DATA INFILE (per esempio racchiudendo ogni valore in apici e separando i valori con le virgole).

Esegui il LOAD DATA INFILE scaricando direttamente i dati nella tabella di destinazione. La velocità sarà parecchio (intendo parecchio) più elevata.