se usi photoshop
prova ad usare lo strumento sfumino sui bordi che presentano spigolature.
se funziona....bene, altrimenti devi provare a sfocare la maschera veloce
(se non funge lo sfumini poi ti spiego meglio)