Rileggendo avevo capito male.. in pratica attendi il caricamento di tutto quello che sta al di sotto del tag video perchè lento a caricare.
Allora ajax potrebbe farti comodo. In pratica serve per caricare in modo asincrono una parte del dom o semlicemente un elemento per esempio.

Ajax
Con jquery ancora più facile
jQuery Ajax

In pratica potresti caricare tutto quello che serve al video( script js, swf e suo html) con ajax senza appesantire la pagina. Al massimo restera in attesa di caricamento solo quella parte.

Detto terra terra il blocco caricato in ajax funziona un po come un iframe con un caricamento a se stante.