Non credo che cambiando compilatore otterresti risultati migliori. Inoltre se il progetto è partito con Mingw, passare a VC++ potrebbe essere meno semplice di quanto si pensi (basta leggere il codice delle Boost per rendersi conto dei salti mortali di preprocessing per essere compilabili da diversi compilatori).

Suggerisco la lettura di questo articolo che parla dell'idioma pimpl, concepito per ridurre i tempi di compilazione. Resta da vedere se nel tuo caso sia applicabile o no.
http://www.devx.com/cplus/Article/28105