Purtroppo non hai molta scelta.
Compilando con MinGW, include tutte le dipendenze con librerie statiche, quindi l'eseguibile viene + grosso, ma non include cose inutili.
Se fai progetto Win32, lui include le lib standard del C, ed altre librerie windows tipo kernel32.lib, user32.lib ecc... che non puoi rimuovere.

Usando Visual C++ invece, gli eseguibili verranno leggeri, ma perchè alcune funzioni le lascia da linkare con DLL di Visual C++ (le famose redistributable).

Quindi devi tenerlo così, a meno che non trovi le librerie standard del C++ e te le includi tutte man mano (cerca nella cartella di DevC++, sinceramente non ho mai tentato di farlo )