con photoshop potresti usare una maschera

ti crei un livello completanebte bianco e lo porti sotto il livello della fotodove applichi una maschera e con un pemmello irregolare rendi i contorni frastagliati

ci sono anche dei plug-in che possono fare la stessa cosa