[LUCENE] Testare Mio Search Engine

[alesdario]

Ciao a tutti. Ho da poco completato un mio search engine per documenti fatto con Lucene e implementando la tecnica dello User Relevance Feedback. Tralasciando i dettagli del progetto che sono superflui per la mia domanda, volevo chiedervi: adesso ho la necessità di testare il mio motore di ricerca. Un professoressa mia ha parlato del TREC che sarebbe un sito che fornisce una collezione di documenti.

Primo: non riesco a capire come ottenere tale collezione
Secondo: non riesco a capire se tale collezione è a pagamento oppure no
Terzo: qualcuno di voi ha mai utilizzato qualcosa del genere?

Grazie mille in anticipo
Alle

[newhook]

che cosa intendi per testare?

vuoi vedere se il tuo indice è scritto in modo corretto? se ci sono tutte le meta-informazioni che hai inserito ecc. ecc. ecc?
Se è così ti consiglio TIKA, scritto in java e c'è anche il codice sorgente.

TIKA è un'applicaziona con GUI che prende in input la cartella di dove risiedono i files di indice, e ti visualizza tutte le sue informazioni (ma proprio tutte).
C'è anche un pannello per la query.
Mi sono trovato molto bene

Risorsa: http://www.getopt.org/luke/

Se per testare invece intendi una collezione di documenti (sicuramente ti interessano solo file world e pdf) da poter creare l'indice, la rete ne è piena e la potresti crerare anche da solo in modo da poter testare anche le casistiche con i caratteri speciali.

Cià!

[alesdario]

se per testare invece intendi una collezione di documenti (sicuramente ti interessano solo file world e pdf) da poter creare l'indice

Mi riferivo proprio alla collezione

la rete ne è piena e la potresti crerare anche da solo in modo da poter testare anche le casistiche con i caratteri speciali.

Tutto a mano ... 300/400 documenti ... non è un po' esagerato da creare a mano ... ?

[newhook]

ne crei un paio e poi li copi (ctrl-c ctrl-v) fai prima se non riesci a trovarli sulla rete.
Poi se sei vincolato a testare proprio quel tipo di collezione di file è un altro discorso...

[alesdario]

ne crei un paio e poi li copi (ctrl-c ctrl-v) fai prima

... forse non siamo "allineati" sul significato di test ...anche perchè non te l'ho mai specificato

Io devo testare il mio motore di ricerca in termini di Precision e Racall , avere 100 documenti uguali non mi servirebbe a niente, o no?

Grazie mille

[newhook]

se è un test specifico allora usa documenti specifici.
Specifica il tipo di test...
cià!

[alesdario]

In pratica ho sviluppato un search engine in implementando lo User Relevance Feedback come algoritmo di Ranking. Ora è necessario testare il search engine e l'algoritmo di ranking. Volevo farlo utilizzando una collection di documenti, ma incomincio a pensare che dovrò utilizzare i "pochi" documenti presenti nel mio PC ...