Adesso è ok.

Ho spostato la valorizzazione della risoluzione dopo la EnumDisplaySettings e adesso funziona.

EnumDisplaySettings "\\.\DISPLAY2", ENUM_CURRENT_SETTINGS, DevM

DevM.dmFields = DM_PELSWIDTH Or DM_PELSHEIGHT
DevM.dmPelsWidth = 800
DevM.dmPelsHeight = 600

Grazie