[JAVA HELP] Ottenere sorgente pagina HTML

[Ale88]

IO dovrei prendere il sorgente di una pagina HTML per poi parsarlo e fare quel che devo fare. Però il problema è che nell'ottenere il sorgente ho delle difficoltà.
Io uso questo codice :

try{
URL url= new URL("http://www.google.it");
URLConnection urlConn = url.openConnection();
BufferedReader dis= new BufferedReader(new InputStreamReader((url.openStream())));
String s="";
while (( s=dis.readLine())!= null) {
System.out.println(s);
}
dis.close();
}catch (MalformedURLException mue) {}
catch (IOException ioe) {}

Si interfaccia al sorgente, però mi salta una riga.
Ho messo google perchè ha solo 4 righe di sorgente e l'ho usato per provare.Però lui di righe ne scrive tre, saltando la terza Riga. Ho provato con la pagina che mi serve e salta addirittura un centinaio di righe.
QUindi sbaglio qualcosa ? Conoscete un'altro metodo per predere il sorgente ??

GRAZIE ANTICIPATAMENTE

[R@ve M@ster]

prova con:

BufferedReader dis = new BufferedReader(new InputStreamReader(urlConn.getInputStream() ));

[Ale88]

Gia lo avevo provato, ma fa sempre la stessa cosa..

Poi ho provato invanamente anche questo

try {
URL url = new URL("http://www.yahoo.it");
Scanner input=new Scanner(new InputStreamReader(url.openStream()));
while(input.hasNext()){
System.out.println(input.nextLine());
}
} catch (Exception ex) {
ex.printStackTrace();
}

Sempre stesso risultato

Grazie cmq per l'aiuto

[andbin]

Originariamente inviato da Ale88
Ho messo google perchè ha solo 4 righe di sorgente

No, la pagina di google ha 3 righe e basta, contiene solo 2 caratteri 0x0A per terminare le prime 2 righe mentre la terza riga non ha nulla come terminatore (ma è comunque una riga).

Originariamente inviato da Ale88
Conoscete un'altro metodo per predere il sorgente ??

Il tuo codice è corretto e funziona. Non hai sfruttato l'oggetto URLConnection ma non è un problema.

[Ale88]

Sorgente Google :



Sorgente che mi stampa



Quindi la riga "window.click()=...." che fine ha fatto ??
Mi potresti spiegare meglio il tuo concetto per favore ?

Ho provato con la pagina di yahoo che ha poco piu di 4000 righe di codice sorgente, ma il programma ne stampa a malapena 890..

HO provato anche così :

try{
URL url= new URL("http://www.google.it");
URLConnection urlConn = url.openConnection();
BufferedReader dis= new BufferedReader(new InputStreamReader((urlConn.getInputStream())));


String s="";
while (( s=dis.readLine())!= null) {
System.out.println(s);

}
dis.close();
}catch (MalformedURLException mue) {}
catch (IOException ioe) {}

Ma è uguale

GRAZIE

[andbin]

Una cosa importante è questa: per google la pagina che tu ricevi dipende dallo "user agent" che è stato inviato con la request.

Prima ho fatto una prova scaricando la pagina con il tool 'wget' e vengono fuori 3 righe. Idem se scarichi con del codice Java come hai fatto. Con firefox invece in effetti sono 4 righe.
Google riconosce lo user-agent di firefox mentre per 'wget' o altro "downloader" può inviare un'altra pagina.

Quindi non stiamo a fare questioni sul numero di righe!! Il tuo codice è corretto.

[Ale88]

Cmq anche IE riceve lo stesso sorgente..

Ma se dici che è corretto..Meglio così, spero solo che mi prenda il codice che mi interessa sul sito che devo parsare ..

Ciao e grazie..

Buona Giornata

Ale