come spesso accade in questo ambito, dipende..

caricare un css impiega tempo, dovresti fare delle prove e verificare quanto tempo impiega 1 foglio di stile a caricare. Spezzare il foglio in N fogli e verificare quanto tempo impiegano a caricare.

Ovvio che se la pagina pesa meno sarà più veloce ma se per fornire solo i fogli di stile necessari devo fare 10 procedure in più sul server mi mangio il tempo che ho guadagnato spezzando i css