Se il file è il cassico CSV (valori separati da virgola, ma anche per estensione, qualunque altro separatore) segui la procedura che ti ha illustrato Lele: si legge riga per riga il file e si schiaffa dentro il database mysql.

Non so niente di MSSQL, ma fondamentalmente mi sembra che la procedura che illustri nella porzione di codice altro non faccia che caricare un qualche componente preposto ad interpretare i file CSV in modo trasparente all'implementatore.
Ora probabilmente qualcuno là fuori avrà sviluppato qualcosa del genere anche per java + mysql... ma visto che si tratta di poche righe di codice, senza sbattersi troppo a cercare, implementati tu la classe per la lettura del file e la creazione delle query.

[EDIT]
PS: DB sì! A maggior ragione se questi dati dovranno essere accessibili su altre piattaforme e da altri computer e possibilimente in contemporanea. L'alternativa, su file, era xml.