Visualizzazione dei risultati da 1 a 2 su 2
  1. #1
    Utente di HTML.it L'avatar di Gabbro
    Registrato dal
    Nov 2000
    Messaggi
    828

    [Perl] Spider che legga solo i primo 10kb di una pagina

    Salve,
    da tempo ho scritto uno spider che funziona egregiamente. l'unico problema è che nel caso in cui lui provi a visitare una pagina molto pesante i tempi si allungano. esiste un modo per lo spider di leggere solo i primi 10 kb di una pagina per esempio? o cmq per velocizzare la cosa?

    io uso questo sistema per il mio crawler:

    $url = URI->new($sito[$iesterni]);
    $response = $browser->get($url, @ns_headers);

  2. #2
    Utente di HTML.it
    Registrato dal
    Sep 2001
    Messaggi
    21,188
    Non me intendo molto, ma visto che non risponde nessun altro provo a darti una traccia.

    Se ricordo bene, quando facevo quelle cose anch'io (una decina di anni fa) avevo trovato un'indicazione da qualche parte che era possibile limitare l'upload (non ricordo se era un timeout o un limite in KB).
    Occore impostare un parametro nella chiamata al modulo che fa l'upload.

    Il mio consiglio quindi e` di leggerti la documentazione dei moduli che usi per l'upload.

    PS: poi fammi sapere: il feedback e` importante in questi casi (in cui le cose non si sanno).
    Nuova politica di maggiore severita` sui titoli delle discussioni: (ri)leggete il regolamento
    No domande tecniche in messaggi privati

Permessi di invio

  • Non puoi inserire discussioni
  • Non puoi inserire repliche
  • Non puoi inserire allegati
  • Non puoi modificare i tuoi messaggi
  •  
Powered by vBulletin® Version 4.2.1
Copyright © 2025 vBulletin Solutions, Inc. All rights reserved.