Come si creano dei motori di ricerca?

[American]

Ah ok quindi è il crawler la chiave di tutto.

Ma mettiamo che io voglia creare un sito alla trovaprezzi.it e necessito di monitorare una precisa lista di fonti quali monclick, play.com e marcopoloshop.

A questo punto punto per monitorare il codice sorgente di ciascuna di queste pagina non basterebbe scrivere questo semplice codice?

$variable1 = fopen('http://monclick.com', "rb"); 
echo stream_get_contents($variable1);  
$variable2 = fopen('http://play.com', "rb"); 
echo stream_get_contents($variable2);  
$variable3 = fopen('marcopoloshop.com', "rb"); 
echo stream_get_contents($variable3);    //vabbè, lo so chesarebbe più professionale creare un ciclo che faccia in automatico invece di fare tutto manualmente con variabili distinte 

Come ben sappiamo però questo non seriverebbe a molto perchè si limiterebbe a recuparare il codice sorgente dell'HTML che di per sé non contiene alcuna informazione sui prodotti in vendita.
Quello che a me serve è recuperare la lista dei prodotti che solitamente avviene tramite la ricerca effettuata dai siti stessi.

Ad intuito direi che basterebbe sostituire l'url di fopen con l'url di ricerca completo di variabili passate via GET, ovver:

fopen('http://www.monclick.it/risultati_ricerca?fh_view_size=10&fh_sort_by=-_match_rate,-orderby_piupopolari&fh_location=//root/it_IT/$s=led&testo=led', "rb"); 

è così o non c'ho capito una mazza?