non è un discreto metodo di sicurezza, il referer non è affidabile in quanto può essere modificato. Così puoi fermare degli sprovveduti, ma chi è interessato a mandare dei dati al tuo file action senza passare per il form se lo fa, di solito, è perchè sa come farlo.
Basta dare un'occhiata agli headers e replicarli con le dovute modifiche.