estrarre dati-reverse engineering

[alfred444]

spero di essere nella sezione giusta..

devo estrarre dei dati da una web app già esistente basata su jBoss e Seam.

http://opac.provincia.bergamo.it


come estraggo tramite un url, passando le variabili con GET una determinata ricerca?

lo scopo finale è parsare le info risultanti con php e ottenerne una lista consultabile esternamente al sito.

nello specifico, nella sezione Ricerca Base mandare il valore di 10gg in Ultime Novità e ottenere il risultato.

non ho ovviamente accesso ai sorgenti jsp, ma solo alla pagina così com'è.

HTML del campo ultime novità:

<span class="leftField"><label for="j_id61:latestNewsSelect"> Ultime Novit&agrave;</label> </span> <span class="rightData"><select id="j_id61:latestNewsSelect" name="j_id61:latestNewsSelect" size="1"> <option value="0" selected="selected">Nessun valore selezionato...</option> <option value="-10">10gg</option> <option value="-20">20gg</option> <option value="-30">30gg</option> </select> </span>

intestazione form:

<form id="j_id61" name="j_id61" method="post" action="/public/opac/documentSearchForm.seam;jsessionid=37939A10EA39263D28ADC8D0CEF2CE8B"

ho provato con un banale...

http://opac.provincia.bergamo.it/pub...NewsSelect=-10


ma non va nulla.. ho timore che si sia vincolati anche dalle sessioni..
si sarà capito che non sono per nulla pratico di jsp..

avete suggerimenti?

[Virus_101]

Ma l'applicazione e' tua ? O di terze parti ?

[alfred444]

non è mia, ma non ci sono problemi di sorta.

si tratta solo di ottenere una lista automatica.

grazie

[Virus_101]

Se i dati sono in database perche' non li recuperi dal database invece di dover per forza eseguire requests e successimente data-mining sulle pagine html formattate per la visualizzazione ?

[alfred444]

i dati di accesso al db non sono disponibili in "breve" tempo, quindi pensavo di smazzarmi una cosa del tipo parsing della pagina in uscita..

credo si possa fare tecnicamente.. o mi stai dicendo che non sarebbe legittimo al 100%?

[Virus_101]

Beh il data-mining va sempre trattato con cautela.
Se i dati che devi ricavare sono in qulche modo protetti da privacy, copyrights, o specifiche licenze o End Users Licencens Agreements ... devi fare attenzione.

Ad esempio se devi essere un utente registrato per accedere a determinati dati vuol dire che devi informari bene su come puoi utilizzare i dati che il sistema ti fornisce.
Se possono essere recuperati da sistemi automatici, se possono essere resi pubblici etc...

Ripeto se l'applicazione la conosci ed e' tua ti conviene eseguire una connessione diretta al database e usare tali dati sempre in conformità con i termini di utilizzo degli stessi.

Secondo me non ti conviene sccrivere parser per html di dati che cmq hai su database.

[alfred444]

se hai visto il sito è semplicemente un catalogo di libri di biblioteche pubbliche.
io devo estrarre le novità di 10 giorni da una determinata biblioteca.
sono dati pubblici, senza login.

non posso accedere direttamente al DB perchè non sono il gestore dell'applicazione e contattare il gestore richiederebbe troppo tempo. quindi l'unica via mi sembra il data mining.
non devo fare ddos o simili, lo scopo è estrarre una lista 2 volte al mese (max 100 record)..

semplicemente lo uso spesso e volevo un automatismo per guadagnare tempo.

spero di aver chiarito i miei scopi

[Virus_101]

Ah ok, ma la biblioteca non ha dei web services in soap / rest ?
Se li avesse potresti usare quelli .

In caso contrario potresti provare ad eseguire delle request opportune in curl e poi si ti tocca per forza parsare l'html.

Prova a controllare che non abbiano dei web services in soap,rest o simili .

[alfred444]

non sono a conoscenza del tipo di servizio utilizzato.


il mio problema è scoprire quali siano le "request opportune" per farmi rispondere dalla web app.

lo scenario è questo:
ho davanti la pagina e voglio ricavarne una http GET o simile per avere i dati e parsarli.
dietro le quinte non so cosa c'è e devo cavarmela


da url non ho ricavato nulla..

suggerimenti? tramite curl dovrei sempre fare una cosa simile?

http://opac.provincia.bergamo.it/public/opac/documentSearchFormFullText.seam?nomevar=valore

[Virus_101]

i web services sono dei server fatti apposta per rilasciare dati in formato xml (di solito), tali dati sono quindi interrogabili e consultabile tramite apposito scabio di xml in un layer soap o rest, che sono due software fatti apposta per gestire le interrogazioni e le risposta da e per tali server.

Cmq nel tuo caso la "request oppurtuna" va fatta in curl impostando correttamente i parametri :
http://php.net/manual/en/book.curl.php

Una volta eseguita la request dovrai analizzare il risultato e quindi appunto eseguire il parsing dell'html per identificare i dati che ti servono.