Più piccolo in che senso? Ti risulta delle fascie nere?
L'impostazione non dovevi cambiarla dal pannello NVIDIA ma dalle proprietà dello schermo.
Ora prova a impostare 1280x768 nel pannello NVIDIA e poi controlla nelle proprietà dello schermo se l'impostazione è uguale, se non lo è imposta anche lì la stessa risoluzione.

A me risulta però che la risoluzione più adatta per la scheda grafica NVIDIA sia 1920x1080 con schermo 16/9