puoi usare gli iframe, volendo... puoi anche fare un iframe che contiene l'header e i link, e inserirlo nelle pagine della misura esatta di quello che dovrà contenere... in questo modo non appariranno le scrollbar e sembrerà una parte della pagina normale. Però a me personalmente gli iframe non piacciono molto, e sopratutto non sono compatibili con i vecchi browser.

Ci sono altri due modi, senza usare linguaggi server-side.
Uno è l'inclusione utilizzando javascript. Basta fare un file javascript (ad esempio include.js) e metterci dentro la parte html che devi includere, dentro le istruzioni document.write().
Poi puoi includere il file dentro la pagina html. Lo svantaggio è che per ogni riga devi mettere un document.write e stare attento alle virgolette. Anche questo metodo non è pienamente compatibile, non funziona se javascript è disabilitato o se il browser non lo supporta.

Il metodo più pulito di tutti è utilizzare le Server Side Includes, che ci sono sia su Apache che su IIS. In questo caso devi conoscere le caratteristiche del server: prima di tutto se le supporta, e secondo in quali file le supporta... su alcuni può essere utilizzato solo con i file .shtml, in altri funziona anche con i file .html.
In questo caso basta scrivere:

e il gioco è fatto. La pagina che viene generata è una semplice pagina html contente la pagina inclusa.