Vedendo un po' come è strutturato jobrapido, mi rendo conto che il sito non fa altro che proporre annunci lavorativi presi da portali nati proprio con questo preciso scopo.
Ma la domanda che mi pongo è, l'indicizzazione è una cosa applicabile da tutti, oppure bisogna stringere accordi con ciascuno di questi siti "fornitori" che a loro volta devono mettere a disposizione tool e API da utilizzare?

Certo che considerando moori di ricerca più generali tipo google mi risulta impossibile immaginare ad un meccanismo dl genere, quindi ad intuito direi che ci sono script che non fanno altro che aprire pagine web e memorizzarne il contenuto nei DB.

A questo punto la domanda che mi pongo è come creare questi script? In che linguaggio sono scritti?