Mi sembra che il messaggio parli chiaro: il tipo di codec utilizzato non è compatibile con VirtualDub perchè è un codec DirectShow.
Virtual dub vuole i codec VFW.

Quindi più che il codec dovete trovare un convertitore.