Così come è il codice adesso non puoi perché una volta che la pagina è stata generata non c'è più distinzione tra header, body e footer.
Hai queste opzioni:
1) metti l'header in un div con ad esempio id="header", il body in un div con id="body" e il footer in un div con id="footer", in questo modo puoi eliminare il contenuto dei div in base al loro id e rimpiazzarlo con altro codice... ma si fa in AJAX, non im PHP.

2) metti gli include header e footer anche nella nuova pagina che apri

3) usi i frame, ma a meno che non vuoi che si veda il refresh di header e footer, è meglio optare per l'opzione 2.