Rimane il fatto che se metti in una pagina web solo un video o un'immagine o un flash google non è in grado di capire di cosa parli quella pagina e non ha molte informazioni e parole su cui lavorare per mandarti visite.

Se google avesse un software in grado di ascoltare un video, tradurlo in testo e poi mandarti visite su quello che è stato ascoltato nel video allora è un altro discorso.
Siamo ancora molto lontani da questo (nel senso di utilizzo di questo da parte del motore).

Tuttavia hai perfettamente ragione sulla user experience che google valuta parecchio (rimbalzo, permanenza, commenti, clic, bookmark, iscrizione al feed...).