Crea uno script che viene eseguito con regolarità tramite cron (es. una volta al minuto).

Lo script si deve occupare di verificare che non vi sia un'altro "demone" in esecuzione (es. controllando l'esistenza di un file oppure di un record nel DB).
Se un'altro demone è in esecuzione, lo script termina.
Altrimenti inizia ad elaborare la coda e non termina fin tanto che non ha finito.

In questo modo eviti di introdurre degli overhead (es. causati da richieste tramite il web server) e disaccoppi lo "spider" dal web server (riducendo il rischio di crash, sovraccarichi etc.).

Eventualmente puoi creare un sistema a "demoni" paralleli (es. fino a 4) che si occupano di smaltire varie code in modo più veloce.