Anch'io mi sono fatto un motore di ricerca con spider (è il mio hobby) e ti assicuro che i miei 3 server e mezzo bastano si e no ad indicizzare alcuni milioni di pagine parziali, in quanto di ogni pagina tengo solo le parole che hanno una qualche probabilità di essere ricercate da qualcuno. Non per niente altri motori di ricerca hanno (si dice) 500000 server sparsi per il mondo.
Ciao.