Ciao andrea, putroppo anche io ho notato questa cosa del video e subito calo del sito, da quello che ho letto su moz. Google non ama il codice embed che solitamente è un iframe, certo è il colmo però Youtube è di proprietà di Google...
Cmq il mio test l'ho fatto con gli embed di dailymotion e vimeo e dopo averli tolti anche io il sito è risalito.
( Forse come ipotesi è più probabile che se il codice in una pagina cambia, il sito scende...e di questo ne sono sempre più convinto )