Credo che più dal formato dipenda dalla compressione iniziale che hanno. Un avi può essere compresso con un qualsiasi codec, così come potrebbe essere non compresso se preso magari da una cassetta minidv senza passaggi intermedi di compressione.
Partendo da una sorgente non compressa credo che il risultato dell'flv sarebbe migliore, perchè quella dell'flv sarebbe la prima compressione che applichi mentre partendo da un file già compresso andresti ad esercitare una seconda compressione, quindi più facile che si noti l'abbassamento di qualità. Considera però che partendo da una sorgente meno compressa probabilmente otterresti un flv di maggiori dimensioni