Ovvio che se l'utente disabilita il referer logging tu non saprai mai da dove viene.
Quindi $_SERVER["HTTP_REFERER"] non ti restituirà nulla.

Cosa non hai capito dell'uso di $_SERVER["HTTP_REFERER"] ?