Fai il controllo solo sull'host del referer: se e' quello del tuo sito l'utente viene da una tua pagina, altrimenti no.

Codice PHP:
$host = parse_url($_SERVER['HTTP_REFERER'], PHP_URL_HOST);