Vi spiego meglio cosa mi occorre.
Io ho in mente uno strumento che esegue la ricerca e l'indicizzazione di alcuni documenti rispetto ad alcune risorse web predefinite.

La prima cosa alla quale penso è il mondo delle offerte di lavoro.
Ho alcune fonti: jobpXXX, stepXXXX, ecc e su queste il mio spider cerca ogni giorno le nuove offerte, le indicizza (con dei metadati) e le copia in un db.

Spero che qualcuno possa darmi qualche dritta..