in linea di massima si, anche se (dipende dai settaggi del server) a volte si è costretti a rinominare il file .shtml
ma la sintassi dell'include è differente, fai qualche ricerca.

ma non fai prima a rinominare tutti i files .php?