ciao.
non conosco la tua configurazione connessione/browser/plug-in
ma il fatto che si prenda del tempo per caricara mi sembra piu' che normale!!
Come hai settato tu la pagina, appare un win media player :
a me arriva intorno al 30% poi parte in stream continuando il download mentre e' in play
...
pero' se lo fai partire come flash , utilizzando se vuoi anche il codice gia pronto
di U Tube (sito dal quale hai preso il video),
vuoi scommettere che ti va piu veloce?

Codice PHP:
<object width="425" height="350">
<param name="movie" value="http://www.youtube.com/v/PYBqyyFCT6U">
</param>
<param name="wmode" value="transparent">
</param>
<embed src="http://www.youtube.com/v/PYBqyyFCT6U" type="application/x-shockwave-flash" wmode="transparent" width="425" height="350">
</embed>
</object> 
ciao