Immaginando che hai organizzato cosi la tua sessione:

codice:
$_SESSION['public']['logged'] = 1;
$_SESSION['admin']['logged'] = 1;
anzichè usare session_destroy usa semplicemente

codice:
$_SESSION['public'] = false;
A prescindere da quello che ho scritto, devi semplicemente resettare le variabili che usi per controllare il login sul lato pubblico (viceversa se vuoi uscire dal pannello amministrativo svuoterai le variabili che controlli in admin).

ciao