Tf–idf-en iturria ikusi

[[Fitxategi:Karen Spärck.jpg|thumb|[[Karen Spärck Jones]]<nowiki/>ek (1935-2007) [[indexazio]] automatizatuaren garapena lideratu zuen.]]
[[Informazioa eskuratzea|Informazioaren berreskurapenean]], '''tf–idf''' edo '''TFIDF''', '''terminoen maiztasuna–alderantzizko dokumentu maiztasuna''' (ingelesez term frequency–inverse document frequency), zenbakizko estatistika bat da eta hitz bat zein garrantzitsua den adieraztea du helburu, [[dokumentu]] bilduma batean edo [[Testu corpus|corpus]] batean.<ref>{{Erreferentzia|izena=A.,J.D.,|abizena=Rajaraman,Ullman|izenburua=Mining of Massive Datasets|orrialdeak=1–17|data=2011|url=http://i.stanford.edu/~ullman/mmds/ch1.pdf}}</ref> Sarri erabili oi da [[Haztapen (prozedura kuantitatiboa)|ponderazio-faktore]] modura, [[informazioaren berreskurapen]]<nowiki/>eko bilaketetan, testu-meatzaritzan, eta erabiltzaile modelaketa.
Tf-idf balioa [[Proportzionaltasun (matematika)|proportzionalki]] hazten da hitz bat dokumentuan agertzen den kopuruarekiko, eta hitzaren corpuseko maiztasunekin orekatzen da, zeinak hitz batzuk, oro har sarriago agertzen direla erakusten duen. Gaur egun, tf-idf da termino-ponderazio-eskema ezagunenetako bat; liburutegi digitaletan, testuetan oinarritutako gomendio-sistemen % 83k erabiltzen du tf-idf.<ref>{{Erreferentzia|izena=Corinna,Bela,Stefan|abizena=Rajaraman,Ullman,Langer|izenburua=Research-paper recommender systems: a literature survey|argitaletxea=International Journal on Digital Libraries|data=2015-07-26|url=https://link.springer.com/article/10.1007/s00799-015-0156-0}}</ref>

Tf–idf ponderazio-eskemaren aldaerak askotan erabiltzen dituzte [[Bilaketa motor|bilaketa-motor]]<nowiki/>eek, erabiltzailearen [[Informazioa eskuratzea|kontsulta]] batetarako, dokumentu baten garrantzia puntuatu eta ranking bat osatzeko tresna gisa. Tf–idf arrakastaz erabili daiteke hainbat eremutan [[Stop-words|hitz-hutsen (stopwords)]] iragazketarako, [[Laburpengintza automatikoa|testu laburpen]]<nowiki/>a eta sailkapena barne.

Ranking funtzio sinpleenetariko bat kontsultako termino bakoitzeko TF-IDFak batuz kalkulatzen da; sofistikatuagoak diren sailkapen funtzioetariko ugari eredu sinple honen aldaerak besterik ez dira.

== Motibazioak ==

===   Terminoen maiztasuna ===
Suposa dezagun [[Euskera]]<nowiki/>zko testu dokumentu batzuk ditugula eta "behi marroia" kontsultarako, dokumentu adierazgarriena zein den jakin nahi dugula. Abiapuntu gisa "behi" eta "marroi", hitz biak ez dituzten dokumentuak baztertu ditzakegu, baina, hala ere, dokumentu asko geratzen zaizkigu.
Bilaketan aurrera jo nahi izanez gero, termino bakoitza dokumentu bakoitzean zenbatetan agertzen den kontatu genezake; termino jakin bat dokumentu batean zenbat aldiz ageri den, terminoen maiztasuna deritzo. Hala eta guztiz ere, dokumentuen luzera asko aldatzen den kasuetan, doikuntzak egin behar izaten dira (ikusi definizioa behean). Terminoen ponderazioaren lehen forma, [[Hans Peter Luhn]]<nowiki/>ri (1957) zor zaio, honela laburbilduz:
* Dokumentu batean ageri den termino baten pisua terminoen maiztasunarekiko proportzionala da.<ref>{{Erreferentzia|izena=Hans Peter|abizena=Luhn|izenburua= A Statistical Approach to Mechanized Encoding and Searching of Literary Information |argitaletxea=IBM |data=2015|url=http://web.stanford.edu/class/linguist289/luhn57.pdf}}</ref>

=== Alderantzizko dokumentu maiztasuna ===

"Behia eta astoa" kontsultarako, "eta" terminoa oso arrunta izanik, hau sarri ageri den testuak azpimarratzeko joera okerra izango du, "behia" eta "astoa" termino esanguratsuei dagokien pisua eman gabe. "Eta" terminoa ez da hitz-gako egokia dokumentu esanguratsuak bereizteko, "behia" eta "astoa" hitz ez horren arruntak egokiakoak diren bitartean. Hori dela eta, ''alderantzizko-dokumentu-maiztasuna'' faktorea gehitzen zaio eta horrela dokumentuetan zehar maiz azaltzen den termino horri pisua murrizten zaio, termino ezohikoagoen pisua handitu bitartean.

[[Karen Spärck Jones]] (1972) asmatutako interpretazio estatistiko batek, Alderantzizko Dokumentu Maiztasuna (IDF) deiturikoak, terminoen espezifikotasuna neurtzeko balio zuen, eta hau giltzarri bilakatu zen terminoen ponderazioan:
* Termino baten espezifikotasuna dokumentu horrentako agerpen kopuruaren alderantzizko funtzio gisa kuantifikatua izan daiteke.<ref>{{Erreferentzia|izena=Karen|abizena= Spärck Jones|izenburua=A Statistical Interpretation of Term Specificity and Its Application in Retrieval |argitaletxea= Journal of Documentation |data=1972|url=http://www.emeraldinsight.com/doi/abs/10.1108/eb026526}}</ref>

== Definizioa ==
Tf–idf bi estatistikoren biderketaren emaitza da, terminoen maiztasuna eta alderantzizkoa dokumentu maiztasunarena. Hainbat modu daude estatistiko bakoitzaren balio zehatzak zehazteko.
{| class="wikitable" style="float: right; margin: 0px 0px 10px 1.5em;"
|+ Terminoen maiztasunaren (TF) ponderazioaren aldaerak
! ponderazio-eskema
! TF pisua
|-
| boolearra|| <math>{0,1}</math>
|-
|kontaketa gordina<br>|| <math> f_{t,d}</math>
|-
|terminoen maiztasuna<br>||<math> f_{t,d} \Bigg/ {\sum_{t' \in d}{f_{t',d}}}</math>
|-
| log normalizazioa ||  <math>1 + \log (f_{t,d})</math>
|-
| 0.5normalizazio bikoitza<br>||  <math>0.5 + 0.5 \cdot \frac { f_{t,d} }{\max_{\{t' \in d\}} {f_{t',d}}} </math>
|-
|K normalizazio bikoitza<br>||  <math>K + (1 - K) \frac { f_{t,d} }{\max_{\{t' \in d\}} {f_{t',d}}} </math>
|}

===   Terminoen maiztasuna ===
'''Terminoen maiztasunaren''' tf(''t'',''d'') kasuan, aukerarik errazena dokumentuan hitzaren ''kontaketa gordina'' erabiltzea da, hau da, ''d'' dokumentu batean ''t'' terminoa zenbatetan ageri den. Kontaketa  ''f''<sub>''t'',''d''</sub>, bidez adierazten badugu,  tf(''t'',''d'') = ''f''<sub>''t'',''d''</sub> da tf eskema errazena. Beste aukera batzuk, besteak beste<ref>{{Erreferentzia|izena=C.D.|abizena=Manning|izenburua= Introduction to Information Retrieval |data=2008|url=http://nlp.stanford.edu/IR-book/pdf/06vect.pdf|pmid=|pmc=}}</ref>{{Rp|128}}
* "maiztasun" [[Boolean data type|Boolearrak]]: tf(''t'',''d'') = 1 da, {{Mvar|t}}  {{Mvar|d}}-n agertzen bada, eta 0 bestela;
*  Terminoen maiztasuna dokumentuaren luzera<span>ra egokitua</span>: ''f''<sub>''t'',''d''</sub> ÷ (hitz-kopurua d-n)
*  Eskala logaritmikoko maiztasuna: tf(''t'',''d'') = log ( 1 + ''f''<sub>''t'',''d''</sub>), (edo zero, ''f''<sub>''t'',''d''</sub> zero bada);<ref>{{Erreferentzia|izenburua= TFIDF statistics |url=https://jmotif.github.io/sax-vsm_site/morea/algorithm/TFIDF.html}}</ref>

* Maiztasun areagotuak, dokumentu luzeetan bias-a ekiditeko, adibidez, maiztasuna zati dokumentuan gehien agertzen den terminoaren maistasuna:
:<math>\mathrm{tf}(t,d) = 0.5 + 0.5 \cdot  \frac{f_{t, d}}{\max\{f_{t', d}:t' \in d\}}</math>

=== Alderantzizko dokumentu maiztasuna ===
{| class="wikitable" style="float: right; margin: 0px 0px 10px 1.5em;"
|+ Alderantzizkoa dokumentu maiztasunaren (FID) ponderazio aldaerak
! ponderazio-eskema
! FID pisua (<math>n_t = |\{d \in D: t \in d\}| </math>)
|-
| unitarioak || 1
|-
| alderantzizko dokumentu maiztasuna ||  <math> \log \frac {N} {n_t} = - \log \frac {n_t} {N} </math>
|-
| alderantzizko dokumentu maiztasuna leuna ||  <math> \log \left( 1+ \frac {N} {n_t}\right) </math>
|-
| alderantzizko dokumentu maiztasun max ||  <math> \log \left(\frac {\max_{\{t' \in d\}} n_{t'}} {1 + n_t}\right) </math>
|-
| alderantzizko dokumentu maiztasun probabilistikoa ||   <math> \log  \frac {N - n_t} {n_t} </math>
|}

'''Alderantzizkoa dokumentu maiztasuna''' hitz batek zenbat informazio ematen duen adierazteko neurri bat da, hau da, ea terminoa ohikoa edo arraroa den dokumentu guztietan zehar. Hitza barne duten dokumentuen eskala logaritmikoko alderantzizko zatikia da. Dokumentu kopurua zati terminoa barne duten dokumentuen kopurua eginez lortzen dan, ondoren zatiduraren logaritmoa kalkulatuz.
:<math> \mathrm{idf}(t, D) =  \log \frac{N}{|\{d \in D: t \in d\}|}</math>

non
* <math>N</math>: dokumentuen kopurua guztira corpusean <math>N = {|D|}</math>
* <math> |\{d \in D: t \in d\}| </math> : terminoa agertzen den dokumentu kopurua (hau da, <math> \mathrm{tf}(t,d) \neq 0</math>). Terminoa corpusean ez bada, zerorekin zatitzera eramango gaitu, . beraz, ohikoa da izendatzailea honela egokitzea <math>1 + |\{d \in D: t \in d\}|</math>.

[[Fitxategi:Plot_IDF_functions.png|thumb|Alderantzizko dokumentu maiztasuna kalkulatzeko funtzio ezberdinen grafikoa: estandarra, leuna eta probabilistikoa.]]

=== Termino maiztasun–Alderantzizko dokumentu maiztasuna ===
Ondoren, tf–idf honela kalkulatzen da:

:<math>\mathrm{tfidf}(t,d,D) = \mathrm{tf}(t,d) \cdot \mathrm{idf}(t, D)</math>

TFIDF-n pisu altua lortzen da [[Maiztasun (estatistika)|maiztasun]] handiko (dokumentu batean) termino bat eta dokumentu bilduma osoan, dokumentu maiztasun txikia duen termino bat erabiliz; pisuek, beraz, termino arruntak iragazteko joera dute.
IDF-ren log funtzioa beti 1 edo handiagoa izanik, IDF-ren (eta TDIDFren) balioa 0 edo handiagoa izango da.
Termino bat dokumentu anitzetan ageri daitekeenez, logaritmo barruko ratioa 1era hurbiltzen da, idf eta tf-idf 0rantz hurbilduz.
{| class="wikitable" style="margin: 0px 1.5em 10px 0px;"
|+ Gomendatutako TF-IDF ponderazio eskemak
!ponderazio eskema<br>
!dokumentuko terminoen pisaketa<br>
!terminoen kontsulten pisaketa<br>
|-
| 1
| <math> f_{t,d} \cdot \log \frac {N} {n_t} </math> 
| <math> \left(0.5 + 0.5 \frac {f_{t,q}} {\max_t f_{t,q}}\right) \cdot \log \frac {N} {n_t} </math>
|-
| 2 
| <math> 1 + \log f_{t,d}</math> 
| <math>  \log (1 + \frac {N} {n_t}) </math>
|-
| 3 
|  <math> (1 + \log f_{t,d}) \cdot \log \frac {N} {n_t} </math> 
|  <math> (1 + \log f_{t,q}) \cdot \log \frac {N} {n_t} </math>
|}


== TFIDFaren adibidea ==
Suposa dezagun ingelesezko corpus bat dugula, bi dokumentuz osatua, eta hitzen kontaketa egin dugula, beheko taulan daude ikusgai.
{| class="wikitable" style="float: right; margin: 0px 0px 10px 1.5em;"
|+2. dokumentua
!hitza<br>
!agerpen kopurua<br>
|-
|this<br>
| 1
|-
|is<br>
| 1
|-
|another<br>
| 2
|-
|example
|3
|}
{| class="wikitable" style="float: right; margin: 0px 0px 10px 1.5em;"
|+ 1. dokumentua
!hitza<br>
!agerpen kopurua<br>
|-
|this
| 1
|-
|is<br>
| 1
|-
|a<br>
| 2
|-
|sample<br>
| 1
|}
"this" terminoaren TFIDFa honela kalkulatzen da:

Bere maiztasun forma gordinean, dokumentu bakoitzerako "this"-en maiztasuna besterik ez da tf. Dokumentu bakoitzean, "this" hitza behin agertzen da; baina 2. dokumentuak hitz gehiago dituenez, bere maiztasun erlatiboa txikiagoa da.
:<math>  \mathrm{tf}(\mathsf{''this''}, d_{1}) = \frac{1}{5} = 0.2 </math>
:<math>  \mathrm{tf}(\mathsf{''this''}, d_{2}) = \frac{1}{7} \approx 0.14 </math>

Idf bat corpus bakoitzeko  konstantea da, eta "this" hitza barne duten dokumentuen ratioa adierazten du. Kasu honetan, bi dokumentuko corpus bat dugu, eta guztiek dute "this" hitza barnean.
:<math>  \mathrm{idf}(\mathsf{''this''}, D) =  \log \left (\frac{2}{2}  \right ) = 0 </math>

Beraz, TDIDFa zero da "this" hitzarentzat, eta horrek hitza ez dela oso adierazgarria erakusten digu, dokumentu guztietan agertzen delako.
:<math>   \mathrm{tfidf}(\mathsf{''this''}, d_{1}) = 0.2 \times 0 = 0 </math>
:<math>   \mathrm{tfidf}(\mathsf{''this''}, d_{2}) = 0.14 \times 0 = 0 </math>

Adibide interesgarriago bat izango dugu "example" hitzarekin; hiru alditan agertzen da, nahiz eta bigarren dokumentuan soilik agertzen den:
:<math>  \mathrm{tf}(\mathsf{''example''}, d_{1}) = \frac{0}{5} = 0 </math>
:<math>  \mathrm{tf}(\mathsf{''example''}, d_{2}) = \frac{3}{7} \approx 0.429 </math>
:<math>  \mathrm{idf}(\mathsf{''example''}, D) =  \log \left (\frac{2}{1}  \right ) = 0.301 </math>

Azkenik,
:<math>\mathrm{tfidf}(\mathsf{''example''}, d_1) = \mathrm{tf}(\mathsf{''example''}, d_1) \times \mathrm{idf}(\mathsf{''example''}, D) = 0 \times 0.301 = 0</math>
:<math>\mathrm{tfidf}(\mathsf{''example''}, d_2) = \mathrm{tf}(\mathsf{''example''}, d_2) \times \mathrm{idf}(\mathsf{''example''}, D) = 0.429 \times 0.301 \approx 0.13</math>

(logaritmo hamartarrak erabiliz ).

== Erreferentziak ==
{{erreferentzia_zerrenda}}

== Kanpo estekak ==
{{autoritate kontrola}}

[[Kategoria:Hizkuntzalaritza konputazionala]]
[[Kategoria:Hizkuntzaren prozesamendua]]
[[Kategoria:Hizkuntzaren prozesamendu estatistikoa]]