un anno fa sviluppai un MTR base, composto dal software di indicizzazione e quello per il crawling.
tralasciando il problema del "peso della pagina", sono sorti questioni quali potenza CPU, quantità di banda utilizzata dal bot, dimensione degli HD e dei database MSSQL.

molto speso un pc non basta quindi bisogna averne di +, soprattutto collegati assieme (clustering).

bisogna avere tanto tempo e costanza, occuparsene almeno 4 ore al gg se non di più....

i problemi sono veramente tanti