Mingw è un pò ignorante con le directory sotto windows.Per compilare manualmente di solito si usa un programma di supporto "makefile"(già compreso nel compilatore).
Si scaricando code::blocks si scarica una delle versioni piu aggiornate di mingw adesso come adesso è la 4.4,ma dato che a breve uscirà il c::b 13.11 sicuramente lo allegheranno alla ultima release di mingw 4.8 con il famoso c++ 11.
Con C::B è poi possibile usare altri compilatori,basta selezionarli e il gioco è fatto.Quindi se vuoi sempre quello piu aggiornato basta scaricarlo e installarlo e poi dai le path all'ide e tutto è pronto.
No le mpi non sono già presenti in nessun compilatore sotto windows.Quindi vai qui e scaricatele.