Come ti ho detto, puoi usare gli iframe.
Devi creare delle pagine contenenti ognuna un solo video, quindi sui link richiami queste pagine facendole aprire nell'iframe.
codice:
<iframe name="video_iframe" width="300" height="300"></iframe>
Contenuto link
Contenuto link