Be', per prima cosa devi scaricarti il Platform SDK, che contiene la documentazione e tutti gli header e le librerie necessari per programmare sotto Windows. Quindi dai un'occhiata alla funzione della shell GetFileNameFromBrowse.
In ogni caso personalmente ti consiglio di mantenere le applicazioni console completamente console e lasciare la GUI alle applicazioni GUI... e quindi di richiedere all'utente di inserire a mano il percorso del file da aprire.