[C#] Soluzioni efficaci per il download di pagine Web

[Andriy88]

Ciao, avrei qualche domanda sul modo di scaricare le pagine web nel proprio hd,se qualcuno gentilmente mi può aiutare. Sarrei molto grato..

1. Per il download più veloce delle pagine web è meglio utilizzare WebClient o HttpWebRequest?

2. Ho visto che ci sono alcuni programmi (opensource) che scaricano più pagine web contemporaneamente grazie ai Threads. Però, utilizzando i Threads non si crea il SynFlood del server? Il qualche dopo blocca la connessione per un tot secondi di tempo?

3. Ho visto che il SynFlood si crea anche utilizzando WebClient o HttpWebRequest, ci sarebbe qualche modo per evitare di creare il flood verso il server, e scaricare il più velocemente possibile le pagine web?

[ans]

prova a dare uno sguardo a questo link:
http://www.codeproject.com/cs/internet/Crawler.asp

[Andriy88]

Originariamente inviato da ans
prova a dare uno sguardo a questo link:
http://www.codeproject.com/cs/internet/Crawler.asp

Ho letto un può l'esempio.. Per il download delle pagine web usa MyWebRequest perchè è simultaneo.. poi fa uso anche dei threads per il download simultaneo di un tot pagine impostate nelle opzioni..
Nelle opzioni si sceglie anche il tempo in secondi che deve passare tra un download e altro..
Ha messo il minimo di 1 sec per non creare appunto il synflood. però per me 1 secondo è un può troppo per scaricare una pagina, ne vorrei scaricare almeno 5 al secondo..
C'è qualche modo per farlo senza causare il flood verso il server?

Sapete quante connessioni massime si possono fare al secondo verso un web server senza causare il flood?

Un altra cosa che non ho capito bene: C'è differenza se apro una connessione MyWebRequest e la utilizzo per il download di tutte le pagine o apro una connessione per ogni pagina??
Escludendo solo il fatto che se apro una connessione per ogni link ci mette più tempo rispetto ad un' appertura della connessione che verrà poi utilizzata per tutte le pagine.. (o mi sbaglio?)

cmq grazie 1000 del link ans..