Evidentemente non fai nessun controllo quando viene richiesta un'operazione.

Tanto per cominciare: hai messo su ogni pagina del pannello amministrativo una cosa di questo tipo?
Codice PHP:
if ( $_SESSION['loggato'] == TRUE && $_SESSION['access_level'] == 'admin' )
{
    //mostra il contenuto della pagina
}
else
{
    //redirect ad una pagina "access denied"
} 
Ovviamente il valore admin è un esempio, ma sarebbe meglio metterci un codice che per te vuol dire "admin".