Sì è possibile, Code::Blocks viene rilasciato in due release diverse: l'una senza alcun compilatore integrato, l'altra con mingw.

La cosa migliore che puoi fare è disinstallare la versione che hai installato e reinstallare quella col compilatore "a bordo", che è "codeblocks-12.11mingw-setup.exe" dalla pagina dei downloads.
In teoria potresti anche tenere la versione che hai già installato, scaricare a parte mingw o qualsiasi altro compilatore e configurare l'IDE affinché lo utilizzi, ma se sei alle prime armi è di gran lunga preferibile la prima strada.