Nel tuo caso ti basta un left join.
codice:
select a.nome_articolo,v.id_articolo
from articolo as a
left join video as v
using (id_articolo)
Dal risultato di questa query vedrai che id_articolo sarà pari a NULL per i record 1 e 3, cioè quelli privi di video.
Quindi puoi gestirti agevolmente il caso in cui il campo sia null o meno e mostrare a video ciò che vuoi.
codice:
select a.nome_articolo,if(v.id_articolo is null,'','ok video') as disponibile
from articolo as a
left join video as v
using (id_articolo)
In rete trovi una marea di guide sui join.
Tanto per restare in casa una anche qui
http://database.html.it/guide/lezion...so-delle-join/