a me non sembra una mole di record troppo grande, di sicuro dovrai prevedere degli indici sulle tabelle ed eseguire delle query "solide"
poi dipende anche molto da come dovrai operare sui dati e dalla potenza di calcolo del sistema su cui deve girare il tutto

non conosco bene MSSQL Express, però mi pare di ricordare che abbia delle limitazioni in merito alla grandezza complessiva del database