Beh con $_SERVER['HTTP_REFERER'] puoi sapere da dove arrivano. Se fai un check su quello dovresti bypassare il problema.