Per me il motore del futuro dovrebbe iniziare a fare delle cernite. Non si potrà catalogare tutto.

Partirei dal codice: se un sito non ha un buon codice, non lo spiderizzo, in frame? Non lo spiderizzo,

Cioè fare una pulizia dei siti spazzatura (intendiamoci: anche con buon contenuti). Se la gente ha qualcosa da dire che lo faccia per lo meno come si deve.

E ancora: siti con pop up?? Via! Troppo pubblicità rispetto ai contenuti??? Via...

Sito in tabelle e non in css??? Via

(vabbè per l'ultima scherzavo, però)

insomma e che diamine: un sito non è solo contenuti o solo forma: è entrambe le cose (più il lato nascosto del codice).

Se manca una sola delle 3 cose non è un sito quindi non lo spiderizzo.

Intendiamoci: se su una chiave ci sono 2.000.000 risultati sono sicuro che tra questi ci saranno almeno un migliaio di pagine che rispetteranno i 3 punti sopracitati, gli altri no quindi: ciao ciao.