E' possibile vettorializzare le foto con l'opzione "ricalca bitmap" (come, giustamente, hai fatto).
Per convertire il tuo jpeg in vettoriale (in modo che sia simile all'originale) dovresti "giocare" con le impostazioni di Soglia colori, Area minima e Angoli. Io ho provato su una foto abbastanza particolareggiata immettendo questi valori:
soglia colori=5
area minima=1
adattamento curva=normale
soglia angoli=normale.

Ovviamente, utilizzando questo metodo, l'swf peserà molto di più (dovresti provare per capire se ti conviene utilizzarlo).

Buon lavoro!