Aggiungi un campo numerico lastlogintime alla tabella utenti e fai in modo che venga aggiornata ad ogni login nella seguente maniera:

Codice PHP:
$id //id dell'utente che si connette
$time mktime();

$sql "UPDATE utenti SET lastlogintime = '$time' WHERE id = $id";
$query mysql_query($sql); 

Quando vorrai sapere chi si è connesso da poco (un tempo ragionevole potrebbe essere 30 minuti, ad esempio) potrai eseguire una query di questo tipo:

Codice PHP:
$time mktime() - 1800;
$sql "SELECT id, nome FROM utenti WHERE lastlogintime > '$time'";
$query mysql_query($sql);