Non so cosa vuoi fare esattamente con il tuo crawler, per cui non so se questa risposta ti soddisfera`.

Quallche tempo (secolo?) fa ho usato un crawler per scaricare dei siti.
Purtroppo non riesco a metterci su le mani, e non ricordo neppure il nome.
So che avevo fatto una ricerca in rete, ed avevo trovato uno strumento scritto in Java (quindi gira su tutte le piattaforme, basta avere la JVM).

PS: nota che non e` CGI e neppure Perl. Dovresti chiedere al moderatore (bottone "segnala al moderatore" in basso a destra) di spostarti in un forum piu` adatto (dove magari avresti risposte piu` precise ed utili).