Che ti dico.... formalmente il codice sembra funzionare.
Sono però convinto che devi vedere in remoto se da problemi... ogni dieci secondi una serie di chiamate al DB, secondo me rischi di impallare il sistema.

Non vedo poi la parte di "crawling": dove va a cercare le informazioni questo spider?