Non credo che si possa estendere il concetto di maschera a quello che vuoi fare tu, ma posso sbagliarmi.

Quando disegni una maschera (tramite i layer o tramite AS)
subordini la visualizzazione del clip/graph associato ad essa,
alla sua forma, non al suo colore o al suo aspetto, all'alpha

Di fatto la maschera è invisibile e taglia fuori tutto ciò che va oltre la sua dimensione.

Spero di aver chiarito, ma se fossi in te aspetterei qualcuno più esperto. (eventualmente invia un PVT a Pasavign...lui con le maschere fa miracoli.

diverso è se sulla maschera applici un clip con delle trasparenze ai bordi allora potresti ottenere lo stesso effetto.

quindi

layer 3 Clip SFUMATO
layer 2 MASKERA
layer 1 Clip Maskerato

Ciao