La modifica delle estensioni è sufficiente nella maggior parte (quasi totalità) dei casi di web server con motore PHP che tipicamente interpretano i file con estensioni ".php" passandoli al parser PHP. Cambiando l'estensione, quindi, dovresti riuscire a far sì che i tag PHP vengano riconosciuti e il comando "include" sia eseguito correttamente: fai qualche prova.
L'altra possibilità è sostanzialmente quella di pensare ad una struttura più complessa delle pagine (per esempio tipicamente viene realizzato un file per la testata - o "header" - uno per il corpo - o "body" - ed uno per il piè di pagina - o "footer" - per tutto il sito; di solito "header" e "footer" variano poco o nulla da una pagina all'altra, mentre il "body" - la parte centrale più corposa - è quello sostanziale): tutto dipende da cosa esattamente devi realizzare... tieni anche conto che il file incluso può essere a sua volta un "php" (di solito conviene) e dunque variare "dinamicamente" in base alla pagina in cui è chiamato.

Non ho in questo momento in mente guide particolari da riferirti. Forse la cosa migliore è davvero che provi a realizzare qualcosa.