Ne ho provati parecchi: molti non supportano il robots.txt, quelli sul server non sono adatti a siti di grosse dimensioni dinamici o che utilizzano il Rewrite Engine.
Finora l'unico tra quelli gratuiti che ho trovato soddisfacente è questo.
http://gsitecrawler.com/en/download/
Tra quelli a pagamento ce n'è uno che costa, se non erro, una decina di euro e che non ho provato personalmente, ma dai commenti in giro sembra essere ottimo.
Rispondi quotando
