Cerco di evitare installazioni e disinstallazioni: ho sempre la senzazione che un pc soffra per queste pratiche eseguite a titolo di test.
No, ti garantisco che il PC non soffre...

In genere io preferisco i programmi che non richiedono una procedura di installazione anche quando questa non è strettamente necessaria, ma a parte questa "fissazione" non c'è nessun problema nell'installare, una tantum, un qualsiasi compilatore C++. Si rischia di rinunciare ad indubbi vantaggi offerti dai compilatori/IDE più moderni, mentre gli svantaggi di usare un compilatore "minimale" sono davvero tanti, soprattutto per un programmatore principiante.

Consiglio: evita Dev-C++, è buggato, datato ed esistono ambienti di sviluppo migliori. Per esempio Code::Blocks supporta un gran numero di compilatori ed è attivamente sviluppato.

TCC che mi sembra very good (anche se non supporta la OOP).
Tiny C (TCC) è un compilatore C, difficilmente ne troverai uno C++ ("moderno") di dimensioni così ridotte. Tra i migliori che non richiedono installazione c'è Digital Mars C++, basta copiare (tanti) files nelle opportune cartelle. Code::Blocks supporta anche Digital Mars C++.