Lo puoi fare in diversi modi...
Ma la tua pagina deve essere(tranne che se vuoi usare frame) in php.
Dovresti includere in tutte le tue pagine un file con dentro ciò che vuoi, poi quando lo modifichi sarà cambiato in tutte le pagine.