Per memorizzare le informazioni esiste il settings della tua applicazione.
Ha un valore che puo' essere application (uguale per tutti) o user (diverso per ogni utente).
Per creare il Db, se usi SQL Express puoi inserire nel setup come prerequisito la presenza di sQL, in questo modo il setup da solo lo va a cercare e se non lo trova lo scarica e installa. Puoi anche inserire tu il setup di SQL nel tuo .msi.
Per creare il Db, un comando T-SQL.
Se invece usi access puoi usare l' interop o il vecchissimo DAO.CreateDatabase.