In ogni pagina dovresti memorizzare la data e l'ora in cui l'utente vi accede.
In questo modo, per stabilire quali utenti si sono disconnessi, basta selezionare quelli per i quali questa data/ora è vecchia più della durata della sessione php. (se la sessione scade in mezz'ora, seleziona le date/ore precedenti a mezz'ora fa)
Poichè la sessione di quegli utenti è sicuramente scaduta anche se erano solo inattivi, li puoi tranquillamente considerare come disconnessi perchè dovranno comunque riloggarsi per entrare.