se le pagine sono statiche (HTML) puoi farlo solo richiamando un file javascript che conterrà il menu

sarebbe meglio tu potessi usare un linguaggio dinamico