Ho creato un programma che cattura il codice HTML delle pagine di cui gli passo l'indirizzo, usando WebRequest e WebResponse. Accade però che per alcuni siti mi venga restituito il codice di errore 401 sebbene aprendo lo stesso indirizzo con qualunque browser la pagina si vede perfettamente. Coma mai accade questo? I gestori del sito riescono ad accorgersi che la richiesta proviene da un programma e non da un browser? Come si può impostare il server in modo che si accorga di questo?