il punto è che è la tua tesi e anche se hai chiaro concettualmente cosa fare (che è poca roba) la difficoltà è proprio nell'usare tutto lo stato dell'arte a tuo vantaggio. Va bene discutere l'idea delle applicazioni, ma questo è il secondo result che ho ottenuto mettendo su google wget java

http://www.devdaily.com/blog/post/ja...hing-like-wget

come vedi non devi reinventare la ruota a meno che non sia strettamente necessario, ma fermarti a riflettere.

Anche qui, se non ti avessi dato quell'implementazione, rifletti su cosa ricevi con wget: uno stream di byte, come fai a ricevere stream in rete in java?
Anche questo è lavoro della tesi, non ti credere che sia solo fare un po di codice che parsa (usando espressioni regolari oltretutto ci vuole poco).

Poi secondo me al momento ti stai concentrando sui dettagli, perché alla fine tu devi creare qualcosa che data una pagina web la parsi, come ottiene la pagina web non importa. Non hai il core e ti stai concentrando sui dettagli.