array, lista o db di termini no significativi in italiano

[jiabin]

Salve a tutti,

utilizzo una piccola funzione che misura la densità di termini all'interno di una stringa ed estrae un elenco dei 10/15 terminini più usati, che ovviamente poi uso per automatizzare delle procedure di tagging e topicità.

il limite di questa funzione sta nel fatto (al di là dei problemi di stemming che per il momento non voglio neanche affrontare) che considera anche avverbi, prononi (cmq + lunghi di 4 caratteri) e aggettivi e termini di uso troppo comune (anche, troppo, bello, principali, questo etc...) che non hanno una reale rilevanza ai fini della determinazione dell'insieme di termini topici.

ho quindi aggiunto un array alla funzione che contiene un elenco di termini da escludere perentoriamente in fase di determinazione dell'elenco stesso, il punto è che questo elenco è non solo molto parziale e incompleto, ma di difficile completamento data la vastità di possibili termini a basso indice di rilevanza.

Ho cercato un elenco testo, ASCII o interno magari a mysql, ma ho trovato solo indicazioni inutilizzabili per me per msql 2005...

qualcuno conosce una possibile sorgente per questo tipo di elenco?

ringrazio per ogni tipo di aiuto
un saluto al forum

m

[filippo.toso]

Perchè non utilizzi delle tecniche di stemming?

In questo modo puoi ridurre il numero di parole "uniche" ed eventualmente aggirare il problema delle stop words.

[jiabin]

il mio problema non consiste nell'avere il token di termini simili o declinati, non voglio cioè discernere tra altro e altri per esempio, a me serve fare in modo che altro, altri, questo, questa e tutte le parole troppo comuni che non hanno una rilevanza specifica nel contesto siano semplicemente escluse, come fosse una black list di termini, che è già implementata tra l'altro, mi manca proprio un elenco anche non perfetto, una base di partenza di termini troppo comuni sulla quale impostare il lavoro.

grazie per la risposta cmq

m.

[jiabin]

no news good news? :P

[dottwatson]

ricordo che una volta trovai un elenco di parole italiane in file di testo, da poter scansionare a scopo dizionaristico.. se ne trovano in rete ma spesso non sono aggiornati all' utima parola italiana


prova su google con elenco parole italiane e poi da li riusciresti ad avere una base di terminologie comuni

[dottwatson]

questo potrebbe fare al caso tuo...

http://www.sastgroup.com/downloads/words.italian.zip

[jiabin]

grazie dottwatson, direi... "palo", nel senso che sono più di 60k termini, tra i quali ce ne sono di molto specifici, quello che cerco in realtà è un elenco che immagino composto da circa 2/5.000 termini, privi di significante specifico/topico, del tipo:

come, dove, quando, altro, perchè, quindi, ecco, bello, brutto, grande, piccolo, ancora etc etc...

ti ringrazio cmq per l'aiuto

mic

[dottwatson]

e queste parole non ci sono nell' elenco che ti ho dato?

[jiabin]

certo che ci sono, solo che, per quanto affascinante come ipotesi, non ho due settimane di tempo da dedicare per levare le 60.000 che non dovrebbero esserci :P

[dottwatson]

e chi ha detto che devi farlo a manina potresti anche fartelo con uno script...