il server utilizzato come front-end per le ricerche non è mai stato un problema....
ripeto, i problemi ci sono quando devi indicizzare le pagine (quindi prelevare il codice html col bot), soprattutto dal punto di vista degli HD e CPU.

i dati sono molti, troppi direi, quindi l'unica soluzione era quella di unire 3-4 piccoli server (da 400€ ciascuno) e far lavorare le loro cpu x scansionare.
bisogna tenere conto anche di un server x i dati (MSSQL) e via dicendo.

è un casino

la parte più semplice è quella di sviluppare il bot.

a proposito...comunque sia tutti possono farsi un mini motore, ripeto basta un pc collegato ad una qualsiasi linea (se poi il gestore (telecom , tiscali o chicchessia) si accorge che in upload/download hai molto consumo, può anche bloccartiil tutto.

saluti

P.S.: ma chi fa donazioni paypal? :rollo: credo che sia solo uno spreco...