Forse hai semplicemente dimenticato di deselezionare "mantieni proporzioni", la stessa cosa la si può notare anchè su avidemux quando si applica il filtro > swsResize.