Fancybox permette di riprodurre, in una finesta modale, i video di Youtube.
Se il video è anche su Youtube, potresti usarla passandogli semplicemente il link di youtube al video (eventualmente ti posto la configurazione).

Se il video non è su Youtube dovresti integrare un player di FLV in javascript con uno script per la finestra modale.