Credo che tutti e tre i linguaggi che indichi vadano bene, dato che forniscono strumenti per scaricare le pagine e interfacciarsi con un DB, e in ogni caso, anche se non sono il massimo dal punto di vista delle performance, non ha alcuna importanza, dato che in un web spider il collo di bottiglia in genere è la rete.