Con isset ho fatto qualche prova è funziona.

Se vuoi usare empty dovresti comunque togliere il NOT (!).
Cioè se $_SESSION['refreshed'] è vuoto allora significa che la pagina deve ancora fare il refresh. Quando è pieno invece va avanti senza considerare quella condizione.

Con isset va invece messo il NOT.

Controlla inoltre se hai messo session_start() all'inizio dello script.