1. Le coordinate del DC non sono le coordinate-schermo, devi fare una conversione da coordinate-schermo a coordinate-client (ScreenToClient);
2. Stai passando a GetPixel l'handle di finestra invece dell'handle al DC, ovviamente non può funzionare.

Comunque se volessi fare una cosa del genere lascerei stare la ricerca della finestra specifica, crea un DC relativo all'area di tutti gli schermi (CreateDC(TEXT("DISPLAY"),NULL,NULL,NULL)) e usa direttamente quello (e ti eviti anche la conversione di coordinate).

In ogni caso, se non hai mai fatto programmazione con WinAPI ti consiglio di leggerti prima un libro in proposito.