codice:
mainVideo.src = `${allVideos[indexNumb - 1].src}.mp4`;
Ovviamente se imposti hard coded che sia un file mp4, non hai modo di riprodurre altro...
Dovrai rendere dinamica l'estensione, o tramite la allVideo che dovrà contenere, oltre la src, anche l'estensione (chessò ext), o in qualche altro modo che ti torni comodo.

Un appunto, vedendo il codice parziale che hai postato: perchè crei TUTTA la lista dei video in una serie di div che contengono un tag video nascosto? Non ti conviene creare il tag video solo quando fai click sull'elemento che vuoi ascoltare, dandogli un id "standartd" (es:video_index, dove index è appunto l'indice che recuperi e usi in loadMusic())? Così quell'index te lo salvi da qualche parte in una variabile e ogni volta che clicchi un elemento della playlist, TOGLI il div precedente e lo ricaricihi col nuovo contenuto....

Oppure, ancora più elegante, usi un solo div per il video (non per la lista, proprio per il video) che poi popoli dinamicamente in base a dove clicchi...