beh direi che c'è sia una parte di CSS sia una parte di HTML

Innanzi tutto devi scrivere l'html necessario nei file header.php e footer.php che, rispettivamente, contengono l'header della pagina ed il footer della pagina

Una volta scritto l'html necessario li dentro puoi inserire le immagini che vuoi sia direttamente come tag html, quindi con il tag img, sia tramite CSS per esempio impostandola come immagine di backgroud. Ovviamente poi per applicare ulteriori stilizzazioni devi usare sempre i CSS.

Il come "inserirle" ed il "dove" posizionarle dipende specificatamente dai file del tuo template