Uhm... Dipende...
Se lo vuoi fare 3d ti consiglio le OpenGL, oppure le SDL/OpenGL... Se ti va bene farlo 2d hai un'ampia gamma di possibilità...
Lo puoi fare per la shell, o se vuoi usare librerie grafiche ci sono le SDL, le GTK, le Qt, le Allegro, le ClanLib e molte altre... Personalmente mi trovo bene con le SDL che sono ottime per lo sviluppo di giochi, sono abbastanza semplici e forniscono sia funzioni per il 2d che per il 3d...