Visualizzazione dei risultati da 1 a 3 su 3
  1. #1

    Programmazione di spider

    Sto facendo un programmino java che visita alcuni siti con una certa frequenza. Vorrei mascherare il mio indirizzo IP per evitare che le mie richieste HTTP siano interpretate come un attacco, in modo da poter fare molte chiamate verso lo stesso sito in brevi archi di tempo.
    Sto pensando di passare attraverso dei web proxy e vorrei farlo nel modo più trasparente possibile, in pratica se riuscissi ad impostare un browser per fare le richieste attraverso un web proxy potrei riprodurre la stessa cosa in java e sarei apposto.
    Per ora però la navigazione tramite i web proxy che ho trovato funziona solo se ci si connette prima al sito del proxy e poi si digita l'url al quale si vuole accedere tramite un form. Ovviamente potrei fare la stessa sequenza di chiamate al programma e funzionerebbe, però preferirei evitarlo.

  2. #2
    I proxy HTTP "normali" funzionano tramite un normale protocollo di rete, non c'è nessuna casella di testo da riempire.
    In ogni caso:
    - se fai richieste ad intervalli ragionevoli non incontri problemi;
    - se eccedi nel numero di richieste chiaramente stai andando contro alla volontà di chi gestisce il sito e gli stai potenzialmente dando problemi (comportandoti in maniera scorretta nei confronti di chi fornisce le informazioni di cui hai bisogno gratuitamente); se ti servono effettivamente quelle informazioni contatta il gestore del sito e mettiti d'accordo in qualche maniera.
    Inoltre l'uso di un proxy non risolverebbe il problema, dato che man mano andrebbero in blacklist anche gli IP dei proxy che useresti (e se rompi troppo è capace che il gestore del sito decida di disabilitare l'accesso in generale ai proxy pubblici - si trovano facilmente in giro ban list con gli IP dei proxy più diffusi).
    Amaro C++, il gusto pieno dell'undefined behavior.

  3. #3
    Utente di HTML.it
    Registrato dal
    Sep 2012
    Messaggi
    707
    Io direi che solitamente non è consentito quello che vorresti fare, senza consenso come dice Mitaly.
    Per dire sul regolamento annunci.ebay.it è scritto chiaramente:
    http://annunci.ebay.it/aiuto/default/condizioni

Permessi di invio

  • Non puoi inserire discussioni
  • Non puoi inserire repliche
  • Non puoi inserire allegati
  • Non puoi modificare i tuoi messaggi
  •  
Powered by vBulletin® Version 4.2.1
Copyright © 2025 vBulletin Solutions, Inc. All rights reserved.