Uno spider non salverà mai un cookie, quindi la condizione if non verrà mai verificata. Regolati di conseguenza per non rendere necessario il cookie per visualizzare la pagina.