Beh i CSS andranno messi nell'intestazione <head></head>, definita nel file
<?php include("header.php"); ?>

Quello dovrà essere l'unico file di intestazione uguale per tutti. E il CSS dovrà essere valido per tutte le pagine; salvo metterti a fare una condizione (sempre nell'header.php) per controllare quale pagina viene inclusa e quindi usare un file CSS diverso in modo condizionale.
Ma te lo sconsiglierei caldamente.... puoi giocartela in modo molto più semplice con i selettori CSS, magari specificando un <div id="nomepagina"> che racchiude il contenuto di ogni pagina inclusa, e che fa da discriminante per gli stili (che però saranno tutti raggruppati in un unico file).

Spero di essermi spiegato.

Ciao!