Hizkuntza-eredu handi-en iturria ikusi

'''Hizkuntza-eredu handiak'''<ref>{{Erreferentzia |url = https://hiztegiak.elhuyar.eus/en/large | izenburua= Elhuyar}}</ref> ('''HEH''' edo '''LLM''', {{Lang-en|Large Language Model}}) milaka miloi parametro dituzten [[Neurona-sare artifizial|sare neuronaletan]] (gehienbat [[Transformer (ikasketa automatikoko eredua)|transformer<ref>{{Erreferentzia|first=Rick|izenburua=What Is a Transformer Model? |url=https://blogs.nvidia.com/blog/2022/03/25/what-is-a-transformer-model/ }}</ref>]]-ak) oinarritutako [[Hizkuntza eredu|hizkuntza-ereduak]] dira, oro har, hizkuntza-ulermena eta sormena lortzeko duten gaitasunagatik ezagunak. Gaitasun hauek eskuratzeko, entrenamenduan datu-kopuru erraldoiak eta [[Ikasketa automatiko|ikasketa]]-teknika ezberdinak erabiltzen dituzte.[[Fitxategi:Estimated training cost of some AI models - 2024 AI index.jpg|thumb|380x380px|'''Hizkuntza eredu handiak''' entrenatzeko erabiltzen den konputazio-lanaren gorakada azkarra. HEH itxi onenen entrenamendu-kostuak eredu irekiko onenen entrenamendu-kostuak baino askoz ere handiagoak dirudite. GPT-4 eta antzeko ereduen entrenamendu-kostua ez da publikoki ezagutzen; beraz, estimazio bat baino ez da. Datuak ''Epoch''-enak dira 2023an, eta grafikoa [[Stanford Unibertsitatea|Stanfordeko Unibertsitateko]] ''AI index''-ekoa da 2024an.<ref>{{Erreferentzia|izenburua=AI Index Report 2024 – Artificial Intelligence Index|orrialdea=(chapter 1, image 3)|hizkuntza=en|url=https://aiindex.stanford.edu/report/#individual-chapters|aldizkaria=aiindex.stanford.edu|sartze-data=2024-11-25}}</ref>]]
Hizkuntza-eredu autorregresibo gisa, sarrerako testu bat hartu eta hurrengo token edo hitza zein izan daitekeen aurreikusten dute, behin eta berriz.

Esaldi batean hurrengo hitza iragartzea bezalako zeregin sinpleetan trebatuta egon arren, horrekin batera giza hizkuntzaren sintaxiaren eta semantikaren zati handi bat ikasteko gaitasuna ere lortzen dute. Gainera, '''hizkuntza-eredu handiek''' munduari buruzko ezagutza orokorra ere badutela erakusten dute, eta entrenamenduan zehar gertaera ugariri buruz ikasteko gai direla. Hala ere, entrenamendua corpuseko testuaren gainean egiten denez, horrenganako menpekotasun handia dute gero, hau da, corpuseko testuak dituen zehaztasun-ezak eta alborapenak heredatzen dituzte.

Adibide aipagarriak dira OpenAIren [[GPT-3|GPT]] ereduak (adibidez, GPT-3.5 eta GPT-4, [[ChatGPT]] txatbotean erabiltzen direnak), [[Google|Google-ren]] PaLM ([[Bard (txatbota)|Bard-en]] erabilia) eta [[Meta (konpainia)|Meta-ren]] [[LLaMa (HIzkuntza-eredua)|LLaMa]], baita BLOOM, Ernie 3.0 Titan eta [[Anthropic|Anthropic-en]] [[Claude (txatbota)|Claude 3]] ere.

2024ko [[Informatikari euskaldunen bilkurak|Informatikari Euskaldunen Bilkuraren]] barruan  sei hizkuntza-eredu handi jarri zuten lehian euskarazko elkarrizketetan. Helburua [[Euskal Herriko Unibertsitatea|EHUko]] [[HiTZ zentroa|Hitz zentroan]] garatzen den [[Latxa (hizkuntza-eredu handia)|Latxa]] eredua «sistema komertzial hoberenen kontra» lehian jartzea izan zen, eta horra ondorioetako bat: [[ChatGPT|GPT-4o]] eredu ezagunaren parean geratu zen ia. Dema horretan ikusi zen euskaraz «hobekien» zekien sistema [[Claude (txatbota)|Claude Sonnet 3.5]] sistema komertziala zela,  bigarren [[ChatGPT|GPT-4o]] sistema geratu zen, eta haren «ia parean» geratu zen [[Latxa (hizkuntza-eredu handia)|Latxa]]. Beherago geratu zen [[Google Gemini|Gemini Flash 1.5]], eta «askoz beherago» [[Command R+]] eta [[LLaMA (hizkuntza-eredu handia)|LLama 3.1]]. Azken hori Latxa eredu berriaren «oinarria» da.<ref>{{Erreferentzia|abizena=Sustatu|urtea=2024-11-10|izenburua=Adimen artifiziala euskaraz, sailkapena: 1) Claude / 2) GPT 4o / 3) Latxa|hizkuntza=eu|url=https://sustatu.eus/1731146126|aldizkaria=sustatu.eus|sartze-data=2025-01-03}}</ref><ref name=":12">{{Erreferentzia|izenburua=Latxa hizkuntza eredua GPT-4ren parean geratu da lehiaketa batean|hizkuntza=eu|data=2024-11-19|url=https://www.berria.eus/euskal-herria/latxa-hizkuntza-eredua-gpt-4ren-parean-geratu-da-lehiaketa-batean_2133734_102.html|aldizkaria=Berria|sartze-data=2024-11-25}}</ref><ref>{{Erreferentzia|izena=Armando|abizena=Quesada Webb|urtea=2024-06-12|izenburua=Latxa, un ChatGPT en euskera contra la brecha digital de los idiomas|hizkuntza=es|data=2024-06-12|url=https://elpais.com/proyecto-tendencias/2024-06-12/latxa-un-chatgpt-en-euskera-contra-la-brecha-digital-de-los-idiomas.html|aldizkaria=El País|sartze-data=2024-11-25}}</ref><gallery>
Fitxategi:ChatGPT logo.svg|[[ChatGPT]]
Fitxategi:Claude AI logo.svg|[[Claude (txatbota)|Claude]]
Fitxategi:Google Gemini logo.svg|[[Google Gemini|Gemini]]
Fitxategi:Latxa logotipoa.jpg|[[Latxa (hizkuntza-eredu handia)|Latxa]]
Fitxategi:Perplexity AI logo.svg|[[Perplexity AI]]
</gallery>

== Propietateak ==

=== Aurre entrenamendu datu multzoak ===

'''HEHak''' testu-datu multzo handietan aldez aurretik trebatzen dira. Gehien erabiltzen diren testu-datu multzo batzuk [[Common Crawl]], [[The Pile]], [[MassiveText]], [[Wikipedia]] eta [[GitHub]] dira. Datu multzoek 15.000.000 milioi hitz arteko tamaina heldu ziren 2024an. Baliabide urri dituen hizkuntza izanik, euskarazko testu-corpus handienen tamaina milaka aldiz txikiago izaten da; esate baterako [[Testu corpus#Euscrawl corpusa|EusCrawl corpusa]] (288 milioi hitz).  Hala ere bada berri on bat, euskarazko corpus ·txiki horiek" ingelesezko corpus itzel batekin batera entrenatuz gero, lortzen den eredua gauza da euskaraz modu duinean egiteko eta gauza da ingelesezko corpus handiaren ezagutza orokorra euskaraz erabiltzeko ere. Horrela, HiTZ zentroak 2024ko urtarrilean garatu zuen Latxa ereduan LLaMA 2 ereduko corpusa (2 bilioi hitz) erabili zuten eta euskarazko [[Testu corpus#Euscrawl corpusa|EusCrawl corpusa]] (288 milioi hitz, 6 mila aldiz txikiagoa) gehitu zioten.<ref name=":1">{{Erreferentzia|izenburua=Latxa hizkuntza eredua GPT-4ren parean geratu da lehiaketa batean|hizkuntza=eu|data=2024-11-19|url=https://www.berria.eus/euskal-herria/latxa-hizkuntza-eredua-gpt-4ren-parean-geratu-da-lehiaketa-batean_2133734_102.html|aldizkaria=Berria|sartze-data=2024-11-25}}</ref>

Bestalde, izugarria da ikustea zelan hazten diren testu-corpusen tamaina. Esate baterako, lehen aipatutako LLaMA 2 ereduko corpusak 2 bilioi hitz zeuzkan 2023ko uztailean, eta urtebete geroago, 2024ko uztailean, LLaMA 3 eredu berriko corpusak 15,7 bilioi hitz zeuzkan. Urtebeteko epean entrenamendu-corpusaren tamaina ia zortzi aldiz handiagoa zen. Noski, HiTZ Zentroak corpus libre handiago hori erabili du Latxaren bertsio hobe bat sortzeko.<ref name=":1" />

=== Eskalatzeko legeak ===

Oro har, '''HEH''' bat lau parametrorekin deskriba daiteke: ereduaren tamaina, prestakuntza-datuen multzoaren tamaina, prestakuntza-kostua eta entrenamenduaren ondorengo errendimendua. Lau aldagai horietako bakoitza zehatz-mehatz defini daiteke zenbaki erreal batean, eta enpirikoki lege estatistiko sinpleen bidez erlazionatuta aurkitzen da, "eskala-legeak" izenekoak.

Garai baterako modu autorregresiboan trebatutako HEHentzako eskalatze-lege partikular batek ("Chinchilla eskala"), ikaskuntza-tasa logaritmikoko programazio batekin, hau dio:


<math>\begin{cases}
C = C_0 ND\\
L = \frac{A}{N^\alpha} + \frac{B}{D^{\beta}} + L_0
\end{cases}</math>

aldagaiak hauek dira:
:<math>C</math> eredua entrenatzearen kostua da, [[FLOPS|FLOPetan]].
:<math>N</math> ereduko parametro kopurua da.
:<math>D</math> entrenamendu multzoko token kopurua da.
:<math>L</math> token bakoitzeko (nats / token) batez besteko log probabilitate-galera negatiboa da, probako datu multzoan trebatutako HEHak lortutakoa.

eta parametro estatistikoak hauek dira:

: <math> C_0 = 6</math>, hau da, parametro bakoitzeko 6 FLOP kostatzen da token batean entrenatzea. Kontuan izan prestakuntza-kostua inferentzia-kostua baino askoz handiagoa dela, non parametro bakoitzeko 1 eta 2 FLOP kostatzen diren token bat ondorioztatzeko.

: <math>\alpha = 0.34, \beta = 0.28, A = 406.4, B = 410.7, L_0 = 1.69</math>

=== Gaitasun emergenteak ===

Normalean eredu txikien antzekoen errendimenduan oinarritutako hainbat zereginetan eredu handien errendimendua estrapola dezakeen arren, batzuetan eredu handiek "fase-aldaketako etena" izaten dute, non ereduak bat-batean ezagutzen ez diren gaitasun handiak eskuratzen dituen. Hauek "gaitasun emergenteak" izenez ezagutzen dira eta azterketa sakonen gai izan dira. Ikertzaileek adierazi dute gaitasun horiek "ezin direla aurreikusi eredu txikiagoen errendimendua estrapolatuz bakarrik". Gaitasun horiek programatuta edo diseinatuta aurkitu beharrean, kasu batzuetan '''HEHa''' publikoki zabaldu ondoren aurkitzen dira. Ehunka trebetasun aurkitu dira. Adibideak honako hauek dira: urrats anitzeko aritmetika, unibertsitate-mailako azterketak gainditzea, hitz baten esanahia identifikatzea, pentsamendu-katea, [[Nazioarteko Alfabeto Fonetikoa]] deskodetzea eta abar. <ref>{{Erreferentzia|url=https://www.quantamagazine.org/the-unpredictable-abilities-emerging-from-large-ai-models-20230316/|izenburua=The Unpredictable Abilities Emerging From Large AI Models|autor=Ornes|nombre=Stephen|fecha=2023-03-16|sitioweb=Quanta Magazine}}</ref>

=== Aluzinazioak ===

HEH-sortzaileek beren aurre-entrenamendu datuek justifikatzen ez duten egiazko aldarrikapenak ziurtasunez baieztatzen dituztela ikusi da, "aluzinazioa" deitu izan den fenomenoa da hori.<ref>{{Erreferentzia|url=https://dl.acm.org/doi/pdf/10.1145/3571730|izenburua=Survey of Hallucination in Natural Language Generation|apellidos=Ji|nombre=Ziwei|apellidos2=Lee|nombre2=Nayeon|fecha=November 2022|publicación=ACM Computing Surveys|editorial=[[Association for Computing Machinery]]}}</ref>

== Arkitektura ==

Hizkuntza-eredu handiek [[Transformer (ikasketa automatikoko eredua)|transformer]] izeneko arkitektura erabili dute gehienbat, 2018az geroztik, datu sekuentzialetarako [[Ikaskuntza sakon|ikaskuntza sakoneko]] teknika estandarra bihurtu da (lehen, LSTM bezalako arkitektura errepikakorrak ziren ohikoenak).

=== Tokenizazioa ===

HEHak funtzio matematikoak dira, eta hauen sarrera eta irteera zenbakien zerrendak dira. Ondorioz, hitzak zenbaki bihurtu behar dira.

Orokorrean, HEH batek tokenizatzaile bat erabiltzen du. Tokenizatzailea testuen eta zenbaki osoen zerrenden arteko mapak egiten dituen [[funtzio bijektibo]] bat da. Tokenizatzailea normalean aurreentrenamentu-datu multzo osora egokitzen da eta gero izoztu egiten da HEHa entrenatu aurretik. Aukera arrunt bat [[byte]] bikoteen kodeketa da.

Tokenizatzaileen beste ezaugarri bat testu-konpresioa da, eta horrek konputazioa aurrezten du. "Non dago" bezalako hitz edo esaldi arruntak token batean kodetu daitezke, 7 karaktere izan beharrean. [[OpenAI]] [[GPT-3|GPT]]-ek tokenizer bat erabiltzen dute, eta token bat 4 karaktere ingururekin osatzen da, edo 0,75 hitz ingururekin, ingelesezko testu arruntean.<ref>{{Erreferentzia|url=https://platform.openai.com/|izenburua=OpenAI API|fechaacceso=2023-04-30|sitioweb=platform.openai.com|idioma=en|urlarchivo=https://web.archive.org/web/20230423211308/https://platform.openai.com/tokenizer|fechaarchivo=2023-04-23}}</ref>  Ingelesezko testu ezohikoa ezin da hain erraz aurreikusi, beraz, gutxiago konprimitu ahalko da, beraz, token gehiago behar ditu kodetzeko.

Tokenizatzaile batek ezin ditu zenbaki oso arbitrarioak sortu. Normalean <math>\{0, 1, 2, ..., V-1\}</math> barneko [[Zenbaki oso|zenbaki osoak]] soilik ateratzen dituzte, <math>V</math> hiztegiaren tamainari deritzo.

Tokenizatzaile batzuk testu arbitrarioak kudeatzeko gai dira (normalean [[Unicode]]-n zuzenean funtzionatuz), baina beste batzuk ez. Kodetzerik gabeko testua topatzen denean, tokenizagailu batek "testu ezezaguna" adierazten duen token berezi bat sortuko luke (askotan 0). Hau [UNK] bezala idatzi ohi da, [[BERT (hizkuntz eredua)|BERT]] dokumentuan bezala.

Askotan erabiltzen den beste token berezi bat [PAD] da, "betegarria" egiteko. Hau erabiltzen da normalean HEHak aldi berean testu-loteetan erabiltzen direlako, eta testu horiek ez dira luzera berdinean kodetzen. HEHek, oro har, sarrera zerrenda ez-irregularra izatea eskatzen dutenez, kodetutako testu laburragoak bete behar dira luzeagoaren luzerarekin bat etorri arte.

=== Irteera ===

HEH baten irteera bere hiztegiaren gaineko [[Probabilitate-banaketa|probabilitate banaketa]] da. Hau normalean honela ezartzen da:

* Testu bat jasotzean, HEH gehienak bektore bat sortzen du <math>y\in \R^V</math> non <math>V</math> bere hiztegiaren tamaina den.
* <math>y</math> bektorea softmax funtzio batetik pasatzen da <math>softmax(y)</math>) lortzeko.

Prozesuan, <math>y</math> bektoreari logit bektore ez normalizatua deitzen zaio, eta <math>softmax(y)</math> bektoreari probabilitate-bektorea. <math>softmax(y)</math> bektoreak <math>V</math> sarrera dituenez, guztiak ez-negatiboak, eta 1era batuta, <math>\{0, 1, 2, ..., V-1\}</math> probabilitate-banaketa gisa interpreta dezakegu, hau da, probabilitate banaketa bat da HEHaren hiztegian.

== Entrenamendua ==

HEH gehienak aurre-entrenamendu generatiboa erabiliz entrenatzen dira, hau da, testu-token prestakuntza-datu multzo bat emanda, ereduak datu-multzoko tokenak aurreikusten ditu. Bi aurre-entrenamendu generatibo estilo orokor daude:<ref>{{Erreferentzia|url=https://www.researchgate.net/publication/338931711|izenburua=A Short Survey of Pre-trained Language Models for Conversational AI-A New Age in NLP|apellidos=Zaib|nombre=Munazza|apellidos2=Sheng|nombre2=Quan Z.|fecha=2020-02-04|publicación=Proceedings of the Australasian Computer Science Week Multiconference|páginas=1–4|doi=10.1145/3373017.3373028|isbn=9781450376976|apellidos3=Emma Zhang|nombre3=Wei|arxiv=2104.10810}}</ref>

* Autorregresiboa: "Izokia jatea" bezalako testu-segmentu bat emanda, ereduak hurrengo tokenak aurreikusten ditu, "gustatzen zait" adibidez.
* Maskaratua: "Txokolatezko [MASKARA] [MASKARA] gustatzen zait" bezalako testu-segmentu bat emanda, ereduak maskaratutako tokenak aurreikusten ditu, adibidez "izozkia jatea".

HEHak datuen banaketaren ulermena erakusten duten bestelako zereginetan entrenatu daitezke.

Normalean, HEHak galera-funtzio zehatz bat minimizatzeko entrenatzen dira: token bakoitzeko batez besteko log probabilitate negatiboa ([[Entropia (informazio-teoria)|entropia]] gurutzatua ere deitzen zaio) adibidez. Eredu autorregresibo batek, "Izozkia jatea gustatzen" emanda, probabilitate-banaketa bat aurreikusten badu <math>Pr( \cdot | \text{Izozkia jatea gustatzen})</math> orduan token honen log probabilitate negatiboa <math>-\log Pr( \text{zait } | \text{Izozkia jatea gustatzen}) </math> izango da.

Entrenamenduan zehar, erregularizazio-galera ere erabiltzen da entrenamendua egonkortzeko. Hala ere, erregularizazio-galera hau ez da proba eta ebaluazioan erabiltzen. Ebaluazio-irizpide gehiago ere badaude entropia gurutzatutik haratago.

HEHak milaka milioi hitzen dimentsioa duten corpus linguistikoetan eratzen dira.

GPT-1, OpenAI-ren aurreentrenatutako lehen transformer-eredua, 2018an BookCorpus-en entrenatu zen, hau 985 milioi hitzez osatzen da. Urte berean, BERT BookCorpus eta ingelesezko wikipediaren konbinazio batean entrenatu zen, 3.300 milioi hitz guztira.Harrezkero, HEHrako prestakuntza-corpusak handitu egin dira, eta billoi bat tokenetara iritsi dira.

=== Entrenamendu kostua ===

HEHak konputazionalki oso garestiak dira entrenatzereko garaian. 2020ko ikerketa batek 1.500 milioi parametroko eredua entrenatzearen kostua 1.6 milioi dolarrekoa dela kalkulatu zuen. [[Software|Softwarearen]] eta [[Hardware|hardwarearen]] aurrerapenek kostua nabarmen murriztu dute, 2023ko paper batean aurreikusi zen 72.300 orduko A100-[[Grafikoak prozesatzeko unitate|GPU]] kostua duela 12.000 milioi parametro-eredu bat entrenatzeko. Kalkulatzen da [[GPT-3]] bat behin bakarrik entrenatzea, 175.000 milioi parametrorekin, 4,6 milioi dolar behar direla.Horretarako RTX 8000 bakar batek 665 urte beharko lituzke bukatzeko.<ref>{{Erreferentzia|url=https://lambdalabs.com/blog/demystifying-gpt-3|izenburua=OpenAI's GPT-3 Language Model: A Technical Overview|fechaacceso=2023-11-04|fecha=2020-06-03|sitioweb=lambdalabs.com|idioma=en}}</ref>

Transformerretan oinarritutako HEHetarako, parametro bakoitzeko 6 [[FLOPS|FLOP]] kostatzen da token batean entrenatzea. Kontuan izan behar da prestakuntza-kostua inferentzia-kostua baino askoz handiagoa dela, non parametro bakoitzeko 1 eta 2 FLOP artean kostatzen den token batean ondorioztatzeko.

Ingurumen kostuari dagokionez, HEH baten entrenamenduak kostu energetikoa oso altua du. Eredu bat entrenatzeak bidaiari batek [[New York]]-etik [[San Frantzisko (Kalifornia)|San Frantziskorako]] hegaldi batean bezainbesteko karbono-isuria egiten da.<ref>{{Erreferentzia|url=https://aclanthology.org/P19-1355|izenburua=Energy and Policy Considerations for Deep Learning in NLP|apellidos=Strubell|nombre=Emma|apellidos2=Ganesh|nombre2=Ananya|fecha=2019-07|publicación=Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics|editorial=Association for Computational Linguistics|páginas=3645–3650|fechaacceso=2023-11-04|apellidos-editor=Korhonen|nombre-editor=Anna|apellidos3=McCallum|nombre3=Andrew}}</ref> GPT-3-ren kasuan, kalkulatzen da 1.200 MWh konsumitzen dela, 500 tona [[Karbono dioxido|CO2]] isuri baino gehiago sortuz. Kostu horiek areagotu egiten dira ereduek parametro gehiago dituezten heinean. Prestakuntza-ziklo bakoitzak ehunka edo milaka CPU eta GPUren dedikazio esklusiboa eskatzen du, hauek karga konputazional handia onartzen dute, datu kopuru handiak gordetzeaz eta mugitzeaz gain. Horrek guztiak energia-kontsumo handia eragiten du, eta bero kantitate handiak sortzen ditu.

Kostu horiek murrizteko, irtenbide posible bat eredu txikiagoak erabiltzea da. Hauek eredu handi baten antzera funtziona dezaket, eta 100 dolar inguruko kostua dute entrenatzean. Eredu txiki baten adibidea Alpaca eredua da, [[Stanford Unibertsitatea|Stanfordeko Unibertsitateko]] ikertzaileek Meta AI-ren LLaMA izeneko ereduan garatua. Hau nahikoa arina da eta mahaigaineko ordenagailu batean exekuta daiteke.

== Ondorengo zereginetarako aplikazioa (downstream tasks) ==
2018 eta 2020 artean, [[Hizkuntzaren prozesamendu|hizkuntza naturalaren prozesatzeko]] (NLP) HEH bat prestatzeko metodo estandarra ataza zehatz baterako eredua doitzea izan zen, zeregin espezifikoko prestakuntza osagarri batekin. Ondoren, aurkitu zen HEH indartsuagoek, GPT-3 adibidez, zereginak prestakuntza gehigarririk gabe ebatzi ditzaketela "prompting" tekniken bidez, zeinetan konpondu beharreko arazoa testu-mezu gisa aurkezten zaiola ereduari, agian testu-adibide batzuekin, antzeko arazoak eta haien konponbideak emanez.

=== Fine-tuning ===
Fine-tuning aldez aurretik trebatutako hizkuntza-eredu bat aldatzeko praktika da (modu gainbegiratuan) zeregin zehatz batean trebatuz (adibidez, sentimenduen analisian, entitate izendapenaren errekonozimendua edo gramatika etiketatzea).<ref name="d2l">{{cite book|last1=Quinn|first1=Joanne|url=https://d2l.ai/chapter_computer-vision/fine-tuning.html#steps|title=Dive into deep learning: tools for engagement|date=2020|isbn=978-1-5443-6137-6|location=Thousand Oaks, California|page=551|access-date=2023-01-10|archive-url=https://web.archive.org/web/20230110131250/https://d2l.ai/chapter_computer-vision/fine-tuning.html#steps|archive-date=2023-01-10}}</ref> Ikaskuntza transferitzeko modu bat da. Normalean, hizkuntza-ereduaren azken geruza nahi den zereginaren emaitzekin lotzen duten pisu multzo berri bat sartzeaz oinarritzen da. Hizkuntza-ereduaren jatorrizko pisuak "izoztu" daitezke, eta, beraz, irteerarekin lotzen dituen pisu-geruza berria bakarrik ikasten da entrenamenduan. Jatorrizko pisuen eguneratze txikiak eginez ere lortzen da.

== Ebaluazioa ==

=== Perplexitatea ===

Hizkuntza-eredu baten errendimenduaren neurririk erabiliena [[Testu corpus|testu-corpus]] jakin batean duen perplexitatea da. Perplexitatea eredu batek datu-multzo baten edukia zenbateraino iragar dezakeen neurtzen du; ereduak datu multzoa iragartzen duenaren [[Probabilitate|probabilitatea]] zenbat eta handiago, orduan eta perplexitate txikiagoa izango du. Matematikoki, perplexitatea token bakoitzeko batez besteko [[Logaritmo|log]] probabilitate negatiboaren esponentzial gisa definitzen da: <math display="block">\log(\text{Perplexity}) = -\frac{1}{N} \sum_{i=1}^N \log(Pr(\text{token}_i | \text{context for token}_i))</math> hemen <math>N</math> 
testu-corpuseko token kopurua da, eta "i tokenaren testuingurua" erabilitako HEH motaren araberakoa da. HEH autorregresiboa bada, "i tokenaren testuingurua" i tokenaren aurretik agertzen den testu-segmentua da. HEHa maskaratuta badago, "i tokenaren testuingurua" i tokenaren inguruko testu-segmentua da.<ref>{{Erreferentzia|url=https://towardsdatascience.com/perplexity-in-language-models-87a196019a94|izenburua=Perplexity in Language Models|fechaacceso=8-5-2023|idioma=en}}</ref>

Hizkuntza-ereduak beren prestakuntza-datuetara gehiegi moldatu daitezkeenez, ereduak normalean ikusten ez diren datuen proba-multzo batean [[Perplexitate|perplexitatearen]] arabera ebaluatzen dira. Horrek erronka bereziak ditu hizkuntza eredu handiak ebaluatzeko.

== Hizkuntza-eredu handien zerrenda ==

Prestakuntza-kostuen zutaberako, 1 petaFLOP-egun = 1 petaFLOP/sec × 1 egun = 8,64E19 FLOP. Gainera, modeloaren handienaren kostua bakarrik dago idatzita.
{| class="wikitable sortable"
!Izena
!Argiratze data
{{efn|This is the date that documentation describing the model's architecture was first released.}}
!Gara-tzailea
!Parametro kopurua (mila milioika) {{efn|In many cases, researchers release or report on multiple versions of a model having different sizes. In these cases, the size of the largest model is listed here.}}
!Corpusaren tamaina
!Entrena-mendu-kostua (peta
FLOP-egun)
!Lizentzia
{{efn|This is the license of the pre-trained model weights. In almost all cases the training code itself is open-source or can be easily replicated.}}
!Oharrak
|-
|[[GPT-1|GTP-1]]
|2018ko ekaina
|[[OpenAI]]
|{{sort|117000000|0.117}}
|
|1<ref name="oai-unsup">{{Cite web|izenburua=Improving language understanding with unsupervised learning|data=June 11, 2018|url=https://openai.com/research/language-unsupervised|lana=openai.com|accessdate=2023-03-18}}</ref>|| {{Bai|MIT}}<ref name="gpt1">{{cite web|work=GitHub|title=finetune-transformer-lm|url=https://github.com/openai/finetune-transformer-lm|access-date=2 January 2024|archive-date=19 May 2023|archive-url=https://web.archive.org/web/20230519062127/https://github.com/openai/finetune-transformer-lm|url-status=live}}</ref>
|Lehen GPT modeloa, dekodetzaile hutsezko transformerra. 30 egunez 8 P600 [[Grafikoak prozesatzeko unitate|GPUtan]] entrenatua.
|-
|[[BERT]]
|2018ko urria
|[[Google]]
|{{sort|340000000|0.340}}<ref name="bert-paper">{{cite arXiv|last1=Devlin|first1=Jacob|last2=Chang|first2=Ming-Wei|last3=Lee|first3=Kenton|last4=Toutanova|first4=Kristina|title=BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding|date=11 October 2018|eprint=1810.04805v2|class=cs.CL}}</ref>
|3,3 mila milioi hitz<ref name="bert-paper" />
|{{sort|9|9}}<ref name="bHZJ2">{{Cite web|date=2021-08-24|url=https://www.nextplatform.com/2021/08/24/cerebras-shifts-architecture-to-meet-massive-ai-ml-models/|first=Nicole Hemsoth|last=Prickett|title=Cerebras Shifts Architecture To Meet Massive AI/ML Models|access-date=2023-06-20|website=The Next Platform|archive-date=2023-06-20|archive-url=https://web.archive.org/web/20230620151619/https://www.nextplatform.com/2021/08/24/cerebras-shifts-architecture-to-meet-massive-ai-ml-models/|url-status=live}}</ref>|| {{Bai|Apache 2.0}}<ref name="bert-web">{{Cite web|url=https://github.com/google-research/bert|title=BERT|date=March 13, 2023|via=GitHub|access-date=March 13, 2023|archive-date=January 13, 2021|archive-url=https://web.archive.org/web/20210113211317/https://github.com/google-research/bert|url-status=live}}</ref>
|Hizkuntza-eredu goiztiar eta eragin handikoa.<ref name="Manning-2022">{{Cite aldizkari|abizena=Manning|urtea=2022|izenburua=Human Language Understanding & Reasoning|orrialdeak=127–138|izena1=Christopher D.|url=https://www.amacad.org/publication/human-language-understanding-reasoning|kazeta=Daedalus|liburukia=151|alea=2|doi=10.1162/daed_a_01905|accessdate=2023-03-09}}</ref> [[Transformer (ikasketa automatikoko eredua)|Kodifikatzailea]] besterik ez, eta, beraz, ez dago eraikita elkarizketan erabilia edo sortzailea izateko . Entrenamenduak 4 egun iraun zuen 64 TPUv2 txipekin.
|-
|[[T5 (language model)|T5]]
|2019ko urria
|Google
|11<ref name=":6">{{Cite aldizkari|abizena=Raffel|izenburua=Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer|orrialdeak=1–67|abizena2=Shazeer|abizena3=Roberts|abizena4=Lee|abizena5=Narang|abizena6=Matena|abizena7=Zhou|abizena8=Li|abizena9=Liu|izena1=Colin|izena2=Noam|izena3=Adam|izena4=Katherine|izena5=Sharan|izena6=Michael|izena7=Yanqi|izena8=Wei|izena9=Peter J.|data=2020|url=http://jmlr.org/papers/v21/20-074.html|kazeta=Journal of Machine Learning Research|liburukia=21|alea=140|issn=1533-7928}}</ref>
|34 mila milioi token<ref name=":6" />
|
| {{Bai|Apache 2.0}}<ref>{{Citation |title=google-research/text-to-text-transfer-transformer |date=2024-04-02 |url=https://github.com/google-research/text-to-text-transfer-transformer |access-date=2024-04-04 |publisher=Google Research |archive-date=2024-03-29 |archive-url=https://web.archive.org/web/20240329112957/https://github.com/google-research/text-to-text-transfer-transformer |url-status=live }}</ref>
|Googleren proiektu askotarako oinarrizko eredua, esate baterako, Irudia.<ref>{{Cite web|izenburua=Imagen: Text-to-Image Diffusion Models|url=https://imagen.research.google/|lana=imagen.research.google|accessdate=2024-04-04}}</ref>
|-
|[[XLNet]]
|2019ko ekaina
|[[Google]]
|{{sort|340000000|0.340}}<ref>{{Cite web|url=https://huggingface.co/transformers/v2.0.0/pretrained_models.html|title=Pretrained models — transformers 2.0.0 documentation|access-date=2024-08-05|website=huggingface.co|archive-date=2024-08-05|archive-url=https://web.archive.org/web/20240805032110/https://huggingface.co/transformers/v2.0.0/pretrained_models.html|url-status=live}}</ref>
|{{sort|3300000000|33}} mila milioi hitz
|330|| {{Bai|Apache 2.0}}<ref name="xlnet">{{cite web|work=GitHub|title=xlnet|url=https://github.com/zihangdai/xlnet/|access-date=2 January 2024|archive-date=2 January 2024|archive-url=https://web.archive.org/web/20240102191842/https://github.com/zihangdai/xlnet/|url-status=live}}</ref>
|BERTen alternatiba bat; kodetzaile gisa soilik diseinatua. 512 TPU v3 txipetan entrenatua 5,5 egunetan.
|-
|[[GPT-2|GTP-2]]
|2019ko otsaila
|[[OpenAI]]
|{{sort|1500000000|1.5}}
|40 GB (~{{Sort|10000000000|10 mila milioi}} mila milioi token)<ref name="5T8u5">{{Cite web|izenburua=Better language models and their implications|url=https://openai.com/research/better-language-models|lana=openai.com|accessdate=2023-03-13}}</ref><ref name="LambdaLabs">{{Cite web|izenburua=OpenAI's GPT-3 Language Model: A Technical Overview|data=3 June 2020|url=https://lambdalabs.com/blog/demystifying-gpt-3|lana=lambdalabs.com|accessdate=13 March 2023}}</ref>
|28<ref name=":10">{{Cite web|izenburua=openai-community/gpt2-xl · Hugging Face|url=https://huggingface.co/openai-community/gpt2-xl|lana=huggingface.co|accessdate=2024-07-24}}</ref>|| {{Bai|MIT}}<ref name="Sudbe">{{cite web|work=GitHub|title=gpt-2|url=https://github.com/openai/gpt-2|access-date=13 March 2023|archive-date=11 March 2023|archive-url=https://web.archive.org/web/20230311154936/https://github.com/openai/gpt-2|url-status=live}}</ref>
|32 TPUv3-txipetan entrenatuta astebetez.<ref name=":10" />
|-
|[[GPT-3]]
|2020ko maiatza
|OpenAI
|{{sort|175000000000|175}}<ref name="Wiggers">{{cite web|date=28 April 2022|url=https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/|first=Kyle|last=Wiggers|title=The emerging types of language models and why they matter|work=TechCrunch|access-date=9 March 2023|archive-date=16 March 2023|archive-url=https://web.archive.org/web/20230316072443/https://techcrunch.com/2022/04/28/the-emerging-types-of-language-models-and-why-they-matter/|url-status=live}}</ref>
|{{sort|300000000000|300 mila milioi}} token<ref name="LambdaLabs" />
|3640|| {{Ez|proprietary}}
|GPT-3 aldaera findu bat, GPT-3.5 izenekoa, publikoaren eskura jarri zen ChatGPT izeneko web interfaze baten bidez 2022an.
|-
|GPT-Neo
|2021eko martxoa
|[[EleutherAI]]
|{{sort|2700000000|2.7}}<ref name="gpt-neo">{{Cite web|date=March 15, 2023|url=https://github.com/EleutherAI/gpt-neo|title=GPT Neo|via=GitHub|access-date=March 12, 2023|archive-date=March 12, 2023|archive-url=https://web.archive.org/web/20230312225202/https://github.com/EleutherAI/gpt-neo|url-status=live}}</ref>
|825 GiB
| 
| {{Bai|MIT}}<ref>{{Erreferentzia|izena=Abhishek Iyer, FreeText|abizena=AI|izenburua=GPT-3’s free alternative GPT-Neo is something to be excited about|hizkuntza=en-US|data=2021-05-15|url=https://venturebeat.com/ai/gpt-3s-free-alternative-gpt-neo-is-something-to-be-excited-about/|aldizkaria=VentureBeat|sartze-data=2024-11-30}}</ref>
|EleutherAIk liberatu zituen doako GPT-3 alternatiben artean lehena. GPT-Neok proba batzuetan tamaina bereko GPT-3 eredu bat gainditu zuen, baina GPT-3 handiena baino nabarmen okerragoa izan zen.
|-
|[[GPT-J]]
|2021eko ekaina
|[[EleutherAI]]
|{{sort|6000000000|6}}<ref name="JxohJ">{{Erreferentzia|izenburua=GPT-J-6B: An Introduction to the Largest Open Source GPT Model {{!}} Forefront|data=2023-03-09|url=https://web.archive.org/web/20230309205439/https://www.forefront.ai/blog-posts/gpt-j-6b-an-introduction-to-the-largest-open-sourced-gpt-model|aldizkaria=web.archive.org|sartze-data=2024-11-30}}</ref>
|825 GiB<ref name="JxohJ"/>
|200|| {{Bai|Apache 2.0}}
|GPT-3 estiloko hizkuntza-eredua
|-
|Megatron-Turing NLG
|2021eko urria<ref name="BwnW5">{{cite web|last1=Alvi|last2=Kharya|first1=Ali|first2=Paresh|date=11 October 2021|url=https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/|title=Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, the World's Largest and Most Powerful Generative Language Model|website=Microsoft Research|access-date=13 March 2023|archive-date=13 March 2023|archive-url=https://web.archive.org/web/20230313180531/https://www.microsoft.com/en-us/research/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/|url-status=live}}</ref>
|[[Microsoft]] eta [[Nvidia]]
|{{sort|530000000000|530}}
|{{sort|338600000000|338.6 mila milioi}} token
|38.000<ref name=":11">{{Erreferentzia|abizena=Rajbhandari|izenburua=DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale|abizena2=Li|abizena3=Yao|abizena4=Zhang|abizena5=Aminabadi|abizena6=Awan|abizena7=Rasley|abizena8=He|izena1=Samyam|izena2=Conglong|izena3=Zhewei|izena4=Minjia|izena5=Reza Yazdani|izena6=Ammar Ahmad|izena7=Jeff|izena8=Yuxiong|data=2022-07-21}}</ref>|| {{Ez|Restricted web access}}
|Hiru hilabetez entrenatua A100 motako 2.000 GPU baino gehiagotan NVIDIA Selene Superkonputagailuan, 3 milioi GPU ordu baino gehiagotan.<ref name=":11" />
|-
|Ernie 3.0 Titan
|2021eko urria
|[[Baidu]]
|{{sort|260000000000|260}}<ref name="qeOB8">{{Cite arXiv|title=ERNIE 3.0 Titan: Exploring Larger-scale Knowledge Enhanced Pre-training for Language Understanding and Generation|first1=Shuohuan|last1=Wang|first2=Yu|last2=Sun|first3=Yang|last3=Xiang|first4=Zhihua|last4=Wu|first5=Siyu|last5=Ding|first6=Weibao|last6=Gong|first7=Shikun|last7=Feng|first8=Junyuan|last8=Shang|first9=Yanbin|last9=Zhao|first10=Chao|last10=Pang|first11=Jiaxiang|last11=Liu|first12=Xuyi|last12=Chen|first13=Yuxiang|last13=Lu|first14=Weixin|last14=Liu|first15=Xi|last15=Wang|first16=Yangfan|last16=Bai|first17=Qiuliang|last17=Chen|first18=Li|last18=Zhao|first19=Shiyong|last19=Li|first20=Peng|last20=Sun|first21=Dianhai|last21=Yu|first22=Yanjun|last22=Ma|first23=Hao|last23=Tian|first24=Hua|last24=Wu|first25=Tian|last25=Wu|first26=Wei|last26=Zeng|first27=Ge|last27=Li|first28=Wen|last28=Gao|first29=Haifeng|last29=Wang|date=December 23, 2021|class=cs.CL|eprint=2112.12731}}</ref>
|4 Tb
| || {{Ez|Proprietary}}
|Txinerarako HEHa. Ernie Bot izeneko bot-ak eredu hau du oinarri.
|-
|[[Claude (hizkuntza-eredu handia)|Claude]]<ref name="i8jc4">{{Cite web|izenburua=Product|url=https://www.anthropic.com/product|lana=Anthropic|accessdate=14 March 2023}}</ref>
|2021eko urria
|[[Anthropic]]
|{{sort|52000000000|52}}<ref name="AnthroArch">{{cite arXiv|last1=Askell|first1=Amanda|last2=Bai|first2=Yuntao|last3=Chen|first3=Anna|last4=Drain|first4=Dawn|last5=Ganguli|first5=Deep|last6=Henighan|first6=Tom|last7=Jones|first7=Andy|last8=Joseph|first8=Nicholas|last9=Mann|first9=Ben|last10=DasSarma|first10=Nova|last11=Elhage|first11=Nelson|last12=Hatfield-Dodds|first12=Zac|last13=Hernandez|first13=Danny|last14=Kernion|first14=Jackson|last15=Ndousse|first15=Kamal|last16=Olsson|first16=Catherine|last17=Amodei|first17=Dario|last18=Brown|first18=Tom|last19=Clark|first19=Jack|last20=McCandlish|first20=Sam|last21=Olah|first21=Chris|last22=Kaplan|first22=Jared|display-authors=3|title=A General Language Assistant as a Laboratory for Alignment|eprint=2112.00861|date=9 December 2021|class=cs.CL}}</ref>
|{{sort|400000000000|400 mila milioi}} token<ref name="AnthroArch" />
| || {{Arrakasta partzial|beta}}
|Elkarrizketetan nahi den portaerarako ongi doitua .
|-
|GLaM (hizkuntza-eredu orokorra)
|2021eko urria
|Google
|{{sort|1200000000000|1200}}
|{{sort|1600000000000|1.6 bilioi}} token
|5.600|| {{Ez|Proprietary}}
|Eredu berezia (aditu-konbinazioa), garestiagoa da entrenatzeko, baina merkeagoa inferentzia exekutatzeko, GPT-3rekin alderatuta.
|-
|Gopher
|2021eko urria
|[[DeepMind]]
|{{sort|280000000000|280}}<ref name="mD5eE">{{cite web|date=8 December 2021|url=https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval|title=Language modelling at scale: Gopher, ethical considerations, and retrieval|website=www.deepmind.com|access-date=20 March 2023|archive-date=20 March 2023|archive-url=https://web.archive.org/web/20230320082323/https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval|url-status=live}}</ref>
|{{sort|300000000000|300 mila milioi}} token<ref name="hoffman">{{cite arXiv|last1=Hoffmann|first1=Jordan|last2=Borgeaud|first2=Sebastian|last3=Mensch|first3=Arthur|last4=Buchatskaya|first4=Elena|last5=Cai|first5=Trevor|last6=Rutherford|first6=Eliza|last7=Casas|first7=Diego de Las|last8=Hendricks|first8=Lisa Anne|last9=Welbl|first9=Johannes|last10=Clark|first10=Aidan|last11=Hennigan|first11=Tom|last12=Noland|first12=Eric|last13=Millican|first13=Katie|last14=Driessche|first14=George van den|last15=Damoc|first15=Bogdan|last16=Guy|first16=Aurelia|last17=Osindero|first17=Simon|last18=Simonyan|first18=Karen|last19=Elsen|first19=Erich|last20=Rae|first20=Jack W.|last21=Vinyals|first21=Oriol|last22=Sifre|first22=Laurent|title=Training Compute-Optimal Large Language Models|eprint=2203.15556|date=29 March 2022|class=cs.CL|display-authors=3}}</ref>
|5.833<ref name=":4">Table 20 and page 66 of ''[https://storage.googleapis.com/pathways-language-model/PaLM-paper.pdf PaLM: Scaling Language Modeling with Pathways] {{Webarchive}}''</ref>|| {{Ez|Proprietary}}
|Ondoren, Chinchilla eredurako garatu zen.
|-
|LaMDA (Elkarrizketa hizkuntza ereduak)
|2022ko urtarrila
|Google
|{{sort|137000000000|137}}
|1.56T hitz, {{Sort|168000000000|168 mila milioi}} token<ref name="hoffman" />
|4.110|| {{Ez|Proprietary}}
|Elkarrizketetan erantzunak sortzeko espezializatua.
|-
|GPT-NeoX
|2022ko otsaila
|[[EleutherAI]]
|{{sort|20000000000|20}}
|825 GiB<ref name="JxohJ"/>
|740|| {{Bai|Apache 2.0}}
|Megatron arkitekturan oinarritua
|-
|[[Chinchilla AI|Chinchilla]]
|2022ko martxoa
|[[DeepMind]]
|{{sort|70000000000|70}}
|{{sort|1400000000000|1.4 bilioi}} token<ref name="hoffman" />
|6.805<ref name=":4" />|| {{Ez|Proprietary}}
|Parametro gutxiko eredua, datu gehiagotan entrenatua. Sparrow botean erabilia. Sarritan aipatua bere eskala neuronalaren legearengatik.
|-
|PaLM (Pathways Language Model, Pathways hizkuntza-eredua)
|2022ko apirila
|Google
|{{sort|540000000000|540}}
|{{sort|768000000000|768 mila milioi}} token
|{{sort|29250|29,250}}<ref name=":4" />|| {{Ez|Proprietary}}
|Entrenatua ~60 egunetan, ~6000 TPU v4 txipetan.<ref name=":4" /> 2024ko urrian, argitaratutako transformer trinko handiena zen
|-
|OPT (Open Pretained
Transformer)
|2022ko Maiatza
|[[Meta Platforms|Meta]]
|{{sort|175000000000|175}}<ref name="jlof8">{{cite web|author1=Susan Zhang|author2=Mona Diab|author3=Luke Zettlemoyer|url=https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/|title=Democratizing access to large-scale language models with OPT-175B|website=ai.facebook.com|access-date=2023-03-12|archive-date=2023-03-12|archive-url=https://web.archive.org/web/20230312231820/https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/|url-status=live}}</ref>
|{{sort|180000000000|180 mila milioi}} token<ref name="QjTIc">{{cite arXiv|last1=Zhang|first1=Susan|last2=Roller|first2=Stephen|last3=Goyal|first3=Naman|last4=Artetxe|first4=Mikel|last5=Chen|first5=Moya|last6=Chen|first6=Shuohui|last7=Dewan|first7=Christopher|last8=Diab|first8=Mona|last9=Li|first9=Xian|last10=Lin|first10=Xi Victoria|last11=Mihaylov|first11=Todor|last12=Ott|first12=Myle|last13=Shleifer|first13=Sam|last14=Shuster|first14=Kurt|last15=Simig|first15=Daniel|last16=Koura|first16=Punit Singh|last17=Sridhar|first17=Anjali|last18=Wang|first18=Tianlu|last19=Zettlemoyer|first19=Luke|title=OPT: Open Pre-trained Transformer Language Models|eprint=2205.01068|date=21 June 2022|class=cs.CL}}</ref>
|310 || {{Arrakasta partzial|Non-commercial research}}{{efn|The smaller models including 66B are publicly available, while the 175B model is available on request.}}
|GPT-3 arkitektura, Megatronetik hartutako egokitzapen batzuekin. Modu bakarrean, taldeak idatzitako prestakuntza koadernoa argitaratu zuten.<ref>{{Cite web|izenburua=metaseq/projects/OPT/chronicles at main · facebookresearch/metaseq|hizkuntza=en|url=https://github.com/facebookresearch/metaseq/tree/main/projects/OPT/chronicles|lana=GitHub|accessdate=2024-10-18}}</ref>
|-
|YaLM 100B
|2022ko ekaina
|[[Yandex]]
|{{sort|100000000000|100}}<ref name="yalm-repo">{{Citation|last1=Khrushchev|last2=Vasilev|last3=Petrov|last4=Zinov|first1=Mikhail|first2=Ruslan|first3=Alexey|first4=Nikolay|date=2022-06-22|url=https://github.com/yandex/YaLM-100B|title=YaLM 100B|access-date=2023-03-18|archive-date=2023-06-16|archive-url=https://web.archive.org/web/20230616050056/https://github.com/yandex/YaLM-100B|url-status=live}}</ref>
|1,7 Tuberkulosia<ref name="yalm-repo" />
| || {{Bai|Apache 2.0}} 
|Eredu anglo-errusiarra, Microsoften Megatron-LMan oinarritua.
|-
|Minerva
|2022ko ekaina
|Google
|{{sort|540000000000|540}}
|Eduki matematikan iragazitako web orrien eta arXiv aurre-inprimaketa-zerbitzarira bidalitako dokumentuen 38,5B token
| || {{Ez|Proprietary}}
|"Gai matematiko eta zientifikoak urratsez urratseko arrazoiketa erabiliz" ebazteko.<ref name="FfCNK">{{Cite web|izenburua=Minerva: Solving Quantitative Reasoning Problems with Language Models|data=30 June 2022|url=https://ai.googleblog.com/2022/06/minerva-solving-quantitative-reasoning.html|lana=ai.googleblog.com|accessdate=20 March 2023}}</ref> PaLM ereduetatik abiatua, datu matematiko eta zientifikoekin findua.
|-
|[[BLOOM (language model)|BLOOM]]
|2022ko uztaila
|Lankidetza handia, Hugging Face buru zela
|{{sort|175000000000|175}}<ref name="bigger-better">{{cite journal|date=8 March 2023|url=https://www.nature.com/articles/d41586-023-00641-w|journal=Nature|issue=7951|pmid=36890378|bibcode=2023Natur.615..202A|doi=10.1038/d41586-023-00641-w|volume=615|pages=202–205|first=Anil|last=Ananthaswamy|title=In AI, is bigger always better?|s2cid=257380916|access-date=9 March 2023|archive-date=16 March 2023|archive-url=https://web.archive.org/web/20230316181013/https://www.nature.com/articles/d41586-023-00641-w|url-status=live}}</ref>
|{{sort|350000000000|350 mila milioi}} token (1.6TB)<ref name="B8wB2">{{cite web|url=https://huggingface.co/bigscience/bloom|title=bigscience/bloom · Hugging Face|website=huggingface.co|access-date=2023-03-13|archive-date=2023-04-12|archive-url=https://web.archive.org/web/20230412002547/https://huggingface.co/bigscience/bloom|url-status=live}}</ref>
| || {{Arrakasta partzial|Responsible AI}}
|Funtsean, GPT-3, baina corpus eleanitz batekin entrenatua (% 30 ingelesez, programazio-lengoaiak alde batera utzita)
|-
|Galactica
|2022ko azaroa
|[[Meta Platforms|Meta]]
|{{sort|120000000000|120}}
|{{sort|350000000000|106 mila milioi}} token<ref name="37sY6">{{cite arXiv|last1=Taylor|first1=Ross|last2=Kardas|first2=Marcin|last3=Cucurull|first3=Guillem|last4=Scialom|first4=Thomas|last5=Hartshorn|first5=Anthony|last6=Saravia|first6=Elvis|last7=Poulton|first7=Andrew|last8=Kerkez|first8=Viktor|last9=Stojnic|first9=Robert|title=Galactica: A Large Language Model for Science|date=16 November 2022|class=cs.CL|eprint=2211.09085}}</ref>
|ezezaguna|| {{Arrakasta partzial|CC-BY-NC-4.0}}
|Entrenatua testu zientifikoetarako eta modalitateetarako.
|-
|AlexaTM (Irakasle-Ereduak)
|2022ko azaroa
|[[Amazon (company)|Amazon]]
|{{sort|20000000000|20}}<ref name="u5szh">{{cite web|date=2 August 2022|url=https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning|title=20B-parameter Alexa model sets new marks in few-shot learning|website=Amazon Science|access-date=12 March 2023|archive-date=15 March 2023|archive-url=https://web.archive.org/web/20230315190223/https://www.amazon.science/blog/20b-parameter-alexa-model-sets-new-marks-in-few-shot-learning|url-status=live}}</ref>
|{{sort|1300000000000|1.3 bilioi}}<ref name="HaA7l">{{cite arXiv|last1=Soltan|first1=Saleh|last2=Ananthakrishnan|first2=Shankar|last3=FitzGerald|first3=Jack|last4=Gupta|first4=Rahul|last5=Hamza|first5=Wael|last6=Khan|first6=Haidar|last7=Peris|first7=Charith|last8=Rawls|first8=Stephen|last9=Rosenbaum|first9=Andy|last10=Rumshisky|first10=Anna|last11=Prakash|first11=Chandana Satya|last12=Sridhar|first12=Mukund|last13=Triefenbach|first13=Fabian|last14=Verma|first14=Apurv|last15=Tur|first15=Gokhan|last16=Natarajan|first16=Prem|display-authors=3|title=AlexaTM 20B: Few-Shot Learning Using a Large-Scale Multilingual Seq2Seq Model|eprint=2208.01448|date=3 August 2022|class=cs.CL}}</ref>
| || {{Ez|proprietary}}<ref name="rpehM">{{cite web|date=17 November 2022|url=https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/|title=AlexaTM 20B is now available in Amazon SageMaker JumpStart {{!}} AWS Machine Learning Blog|website=aws.amazon.com|access-date=13 March 2023|archive-date=13 March 2023|archive-url=https://web.archive.org/web/20230313163933/https://aws.amazon.com/blogs/machine-learning/alexatm-20b-is-now-available-in-amazon-sagemaker-jumpstart/|url-status=live}}</ref>
|Sekuentziatik-sekuentziara arkitekturakoa baina bi noranzkoetan 
|-
|[[Neuro-sama]]
|2022ko abendua
|Independ.
|Ezezaguna
|Ezezaguna
| || {{Ez|privately-owned}}
|[[Twitch|Twitchen]] zuzenean transmititzeko diseinatutako hizkuntza-eredua.
|-
|Llama (Large Language Model Meta AI, Meta AI Hizkuntza Eredu Handia)
|2023ko otsaila
|[[Meta AI]]
|{{sort|65000000000|65}}
|{{sort|1400000000000|1.4 bilioi}}
|6.300<ref name=":5">{{Cite web|izenburua=The Falcon has landed in the Hugging Face ecosystem|url=https://huggingface.co/blog/falcon|lana=huggingface.co|accessdate=2023-06-20}}</ref>|| {{Arrakasta partzial|Non-commercial research}}{{efn|Facebook's license and distribution scheme restricted access to approved researchers, but the model weights were leaked and became widely available.}}
|Corpusak 20 hizkuntza ditu. "Gainentrenatua" (Chinchillako eskalatze-legearekin alderatuta) parametro gutxiagorekin errendimendu hobea lortzeko.
|-
|[[GPT-4]]
|2023ko martxoa
|OpenAI
|Ezezaguna (Zurrumurruen arabera: 1.760)<ref>{{Cite web|abizena=Schreiner|izenburua=GPT-4 architecture, datasets, costs and more leaked|hizkuntza=en-US|izena1=Maximilian|data=2023-07-11|url=https://the-decoder.com/gpt-4-architecture-datasets-costs-and-more-leaked/|lana=THE DECODER|accessdate=2024-07-26}}</ref>
|Ezezaguna
|Ezezaguna|| {{Ez|proprietary}}
|ChatGPT Plus-eko erabiltzaileentzat eskuragarri eta hainbat produktutan erabilia.
|-
|Chameleon
|2024ko ekaina
|[[Meta AI]]
|{{sort|34000000000|34}}<ref>{{cite news|last1=Dickson|first1=Ben|date=22 May 2024|url=https://venturebeat.com/ai/meta-introduces-chameleon-a-state-of-the-art-multimodal-model/|title=Meta introduces Chameleon, a state-of-the-art multimodal model|work=VentureBeat}}</ref>
|{{sort|4400000000000|4.4 bilioi}}
|
|
|-
|Cerebras-GPT
|2023ko martxoa
|[[Cerebras]]
|{{sort|13000000000|13}}<ref name="D0k2a">{{Cite web|date=March 28, 2023|url=https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/|first=Nolan|last=Dey|title=Cerebras-GPT: A Family of Open, Compute-efficient, Large Language Models|website=Cerebras|access-date=March 28, 2023|archive-date=March 28, 2023|archive-url=https://web.archive.org/web/20230328213339/https://www.cerebras.net/blog/cerebras-gpt-a-family-of-open-compute-efficient-large-language-models/|url-status=live}}</ref>
|
|270 || {{Bai|Apache 2.0}}
|Chinchillaren formularekin entrenatua.
|-
|Falcon
|2023ko martxoa
|[[Technology Innovation Institute]]
|{{sort|40000000000|40}}<ref name="falcon">{{cite web|url=https://fastcompanyme.com/news/abu-dhabi-based-tii-launches-its-own-version-of-chatgpt/|title=Abu Dhabi-based TII launches its own version of ChatGPT|website=tii.ae|access-date=2023-04-03|archive-date=2023-04-03|archive-url=https://web.archive.org/web/20230403021729/https://fastcompanyme.com/news/abu-dhabi-based-tii-launches-its-own-version-of-chatgpt/|url-status=live}}</ref>
|Bilioi bat token, RefineWeb-etik hartuta (corpusetik iragazitako web testua) eta zenbait "corpus ondu".<ref name="gzTNw">{{Cite web|izenburua=tiiuae/falcon-40b · Hugging Face|data=2023-06-09|url=https://huggingface.co/tiiuae/falcon-40b|lana=huggingface.co|accessdate=2023-06-20}}</ref>
|2.800<ref name=":5" />|| {{Bai|Apache 2.0}}<ref name="Wmlcs">[https://www.businesswire.com/news/home/20230531005608/en/UAE's-Falcon-40B-World's-Top-Ranked-AI-Model-from-Technology-Innovation-Institute-is-Now-Royalty-Free UAE's Falcon 40B, World's Top-Ranked AI Model from Technology Innovation Institute, is Now Royalty-Free] {{Webarchive|url=https://web.archive.org/web/20240208133040/https://www.businesswire.com/news/home/20230531005608/en/UAE%27s-Falcon-40B-World%27s-Top-Ranked-AI-Model-from-Technology-Innovation-Institute-is-Now-Royalty-Free |date=2024-02-08 }}, 31 May 2023</ref>
|
|-
|BloombergGPT
|2023ko martxoa
|[[Bloomberg L.P.]]
|{{sort|50000000000|50}}
|363 mila milioi token zuen datu multzoa Bloomberg-eko datu-iturrietan oinarrituta, gehi 345 mila milioi token helburu orokorreko datu-multzotatik
| || {{Ez|Proprietary}}
|Jabedun iturritako finantza-datuetan trebatua, finantza-zereginetarako.
|-
|[[Huawei PanGu|PanGu-Σ]]
|2023ko martxoa
|[[Huawei]]
|{{sort|1085000000000|1085}}
|329 mila milioi token
| || {{Ez|Proprietary}}
|
|-
|OpenAssistant
|2023ko martxoa
|[[LAION]]
|{{sort|17000000000|17}}
|1,5 bilioi token
| || {{Bai|Apache 2.0}}
|Crowdsourcing-eko datu irekietan trebatua
|-
|Jurascli-2<ref>{{Cite web|abizena=Wrobel|izenburua=Tel Aviv startup rolls out new advanced AI language model to rival OpenAI|izena1=Sharon|url=https://www.timesofisrael.com/ai21-labs-rolls-out-new-advanced-ai-language-model-to-rival-openai/|lana=www.timesofisrael.com|accessdate=2023-07-24}}</ref>
|2023ko martxoa
|[[AI21 Labs]]
|Ezezaguna
|Ezezaguna
| || {{Ez|Proprietary}}
|Eleaniztuna<ref>{{Cite web|abizena=Wiggers|izenburua=With Bedrock, Amazon enters the generative AI race|izena1=Kyle|data=2023-04-13|url=https://techcrunch.com/2023/04/13/with-bedrock-amazon-enters-the-generative-ai-race/|lana=TechCrunch|accessdate=2023-07-24}}</ref>
|-
|[[PALM 2]] (Pathways Language Model 2)
|2023ko maiatza
|Google
|{{sort|340000000000|340}}<ref name="cnbc-20230516">{{cite web|date=16 May 2023|url=https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html|first=Jennifer|last=Elias|title=Google's newest A.I. model uses nearly five times more text data for training than its predecessor|work=[[CNBC]]|access-date=18 May 2023|archive-date=16 May 2023|archive-url=https://web.archive.org/web/20230516225326/https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html|url-status=live}}</ref>
|{{sort|3600000000000|3.6 bilioi}} token<ref name="cnbc-20230516" />
|{{sort|85000|85,000}}<ref name=":5" />|| {{Ez|Proprietary}}
|Bard chatboten erabili zuten (Gemini).<ref name="pWyLA">{{Cite web|izenburua=Introducing PaLM 2|data=May 10, 2023|url=https://blog.google/technology/ai/google-palm-2-ai-large-language-model/|lana=Google|accessdate=May 18, 2023}}</ref>
|-
|Llama 2
|2023ko uztaila
|Meta AI
|{{sort|70000000000|70}}<ref name="meta-20230719">{{Cite web|date=2023|url=https://ai.meta.com/llama/|title=Introducing Llama 2: The Next Generation of Our Open Source Large Language Model|access-date=2023-07-19|website=Meta AI|archive-date=2024-01-05|archive-url=https://web.archive.org/web/20240105234629/https://ai.meta.com/llama/|url-status=live}}</ref>
|{{sort|2000000000000|2 bilioi}} token<ref name="meta-20230719" />
|{{sort|21000|21,000}}|| {{Arrakasta partzial|Llama 2 license}}
|1,7 milioi A100-ordu.<ref>{{Cite web|izenburua=llama/MODEL_CARD.md at main · meta-llama/llama|url=https://github.com/meta-llama/llama/blob/main/MODEL_CARD.md|lana=GitHub|accessdate=2024-05-28}}</ref>
|-
|[[Claude (language model)|Claude 2]]
|2023ko uztaila
|Anthropic
|Ezezaguna
|Ezezaguna
|Ezezaguna|| {{Ez|Proprietary}}
|Claude txatborean erabiltzen da.<ref>{{Cite web|izenburua=Claude 2|url=https://www.anthropic.com/index/claude-2|lana=anthropic.com|accessdate=12 December 2023}}</ref>
|-
|[[IBM Granite|Granitoa 13b]]
|2023ko uztaila
|[[IBM]]
|Ezezaguna
|Ezezaguna
|Ezezaguna|| {{Ez|Proprietary}}
|[[Watson (adimen artifiziala)|IBM Watsonx-en]] erabilia.<ref>{{Cite web|abizena=Nirmal|izenburua=Building AI for business: IBM's Granite foundation models|hizkuntza=en-US|izena1=Dinesh|data=2023-09-07|url=https://www.ibm.com/blog/building-ai-for-business-ibms-granite-foundation-models|lana=IBM Blog|accessdate=2024-08-11}}</ref>
|-
|Mistral 7B
|2023ko iraila
|[[Mistral AI]]
|{{sort|7300000000|7.3}}<ref name="mistral-20230927">{{Cite web|date=2023|url=https://mistral.ai/news/announcing-mistral-7b/|title=Announcing Mistral 7B|access-date=2023-10-06|website=Mistral|archive-date=2024-01-06|archive-url=https://web.archive.org/web/20240106051047/https://mistral.ai/news/announcing-mistral-7b/|url-status=live}}</ref>
|Ezezaguna
| || {{Bai|Apache 2.0}}
|
|-
|[[Claude (language model)|Claude 2.1]]
|2023ko azaroa
|Anthropic
|Ezezaguna
|Ezezaguna
|Ezezaguna|| {{Ez|Proprietary}}
|Claude txabotean erabiltzen da. 200.000 tokeneko edo ~500 orrialdeko testuinguru-leihoa du.<ref>{{Cite web|izenburua=Introducing Claude 2.1|url=https://www.anthropic.com/index/claude-2-1|lana=anthropic.com|accessdate=12 December 2023}}</ref>
|-
|Grok-1<ref>{{Erreferentzia|izenburua=xai-org/grok-1|argitaletxea=xai-org|data=2024-03-19|url=https://github.com/xai-org/grok-1|accessdate=2024-03-19}}</ref>
|2023ko azaroa
|[[x.AI]]
|314
|Ezezaguna
|Ezezaguna|| {{Bai|Apache 2.0}}
|Grok txatbotean erabiltzen da. Grok-1ek 8.192 tokeneko testuinguru-luzera du eta X-rako (Twitter) atzipena du.<ref>{{Cite web|izenburua=Grok-1 model card|url=https://x.ai/model-card/|lana=x.ai|accessdate=12 December 2023}}</ref>
|-
|[[Gemini (language model)|Gemini 1.0]]
|2023ko abendua
|[[Google DeepMind]]
|Ezezaguna
|Ezezaguna
|Ezezaguna|| {{Ez|Proprietary}}
|Eredu multimodala, hiru tamainatan dator. Izen bereko chatbotean erabilia.<ref>{{Cite web|izenburua=Gemini – Google DeepMind|url=https://deepmind.google/technologies/gemini/#capabilities|lana=deepmind.google|accessdate=12 December 2023}}</ref>
|-
|Mixtrala 8x7B
|2023ko abendua
|[[Mistral AI]]
|46,7
|Ezezaguna
|Ezezaguna|| {{Bai|Apache 2.0}}
|GPT-3.5 eta Llama 2 70B  gainditzen ditu proba askotan.<ref>{{Cite web|abizena=Franzen|izenburua=Mistral shocks AI community as latest open source model eclipses GPT-3.5 performance|izena1=Carl|data=11 December 2023|url=https://venturebeat.com/ai/mistral-shocks-ai-community-as-latest-open-source-model-eclipses-gpt-3-5-performance/|lana=VentureBeat|accessdate=12 December 2023}}</ref> Aditu-konbinazioa eredua, 12.900 milioi parametro token bidez aktibatuak.<ref>{{Cite web|izenburua=Mixtral of experts|data=11 December 2023|url=https://mistral.ai/news/mixtral-of-experts/|lana=mistral.ai|accessdate=12 December 2023}}</ref>
|-
|[[Phi (LLM)|Phi-2]]
|2023ko abendua
|Microsoft
|2,7
|1.4T token
|419<ref name=":9">{{Cite web|abizena=Hughes|izenburua=Phi-2: The surprising power of small language models|izena1=Alyssa|data=12 December 2023|url=https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/|lana=Microsoft Research|accessdate=13 December 2023}}</ref>|| {{Bai|MIT}}
|"Kalitatezko testuliburuetako" datu erreal eta sintetikoetan trebatua, 14 egunez A100 motako 96 GPU etan.<ref name=":9" />
|-
|[[Latxa (hizkuntza-eredu handia)|Latxa]]
|2024ko urtarrila
|[[HiTZ zentroa]]
|70<ref name=":0">{{Erreferentzia|izenburua=Latxa - a HiTZ Collection|data=2024-07-02|url=https://huggingface.co/collections/HiTZ/latxa-65a697e6838b3acc53677304|aldizkaria=huggingface.co|sartze-data=2024-11-25}}</ref>
|Llama 2-ren 2 mila milioi token 
+ euskarazko 288 milioi hitz<ref>{{Erreferentzia|izenburua=EusCrawl|url=http://ixa.ehu.eus/euscrawl/#home|aldizkaria=ixa.ehu.eus|sartze-data=2024-11-25}}</ref>
|
|{{Bai|LLaMA-2 License}}
|Euskararako eredua da. Baliabide urri dituen hizkuntza izanik LLaMA ereduetan oinarritzen da eta euskarazko [[Testu corpus#Euscrawl corpusa|EusCrawl corpusa]] (288 milioi hitz) gehitu da.<ref>{{erreferentzia|izena=Eneko|abizena=Agirre|urtea=2024|izenburua=Latxa - - euskararentzat inoiz eraikitako hizkuntza eredurik handiena|argitaletxea=HiTZ Zentroa - UPV/EHU|abizena2=Etxaniz|abizena3=Sainz|izena2=Julen|izena3=Oscar|url=https://www.hitz.eus/eu/node/340}}</ref><ref name=":0" />
|-
|Mixtral 8x22B
|2024ko apirila
|[[Mistral AI]]
|141
|Ezezaguna
|Ezezaguna|| {{Bai|Apache 2.0}}
|<ref>{{Cite web|abizena=AI|izenburua=Cheaper, Better, Faster, Stronger|izena1=Mistral|data=2024-04-17|url=https://mistral.ai/news/mixtral-8x22b/|lana=mistral.ai|accessdate=2024-05-05}}</ref>
|-
|[[Google Gemini|Gemini 1.5]]
|2024ko otsaila
|[[Google DeepMind]]
|Ezezaguna
|Ezezaguna
|Ezezaguna|| {{Ez|Proprietary}}
|Eredu multimodala, Aditu-konbinazioko (Mixture of experts, MoE) arkitekturan oinarritua. Milioi bat tokenetik gorako testuinguruaren leihoa .<ref>{{Cite web|izenburua=Our next-generation model: Gemini 1.5|data=15 February 2024|url=https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/#context-window|lana=Google|accessdate=16 February 2024}}</ref>
|-
|[[Google Gemini|Gemini Ultra]]
|2024ko otsaila
|[[Google DeepMind]]
|Ezezaguna
|Ezezaguna
|Ezezaguna
|
|
|-
|Gemma
|2024ko otsaila
|[[Google DeepMind]]
|7
|6T token
|Ezezaguna|| {{Arrakasta partzial|Gemma Terms of Use}}<ref name="gemma">{{cite web|url=https://ai.google.dev/gemma/terms|title=Gemma|via=GitHub}}</ref>
|
|-
|[[Claude (language model)|Claude 3]]
|2024ko martxoa
|Anthropic
|Ezezaguna
|Ezezaguna
|Ezezaguna
|{{Ez|Proprietary}}
|Hiru modelo ditu: Haiku, Sonnet eta Opus.<ref>{{Cite web|izenburua=Introducing the next generation of Claude|url=https://www.anthropic.com/news/claude-3-family|lana=www.anthropic.com|accessdate=2024-03-04}}</ref>
|-
|[https://rubiks.ai/nova/release/ Nova]
|2024ko urria
|[https://rubiks.ai/ Rubik's AI]
|Ezezaguna
|Ezezaguna
|Ezezaguna
|{{Ez|Proprietary}}
|Hiru modelok osatzen dute: Nova-Instant, Nova-Air, eta Nova-Pro.
|-
|[[DBRX]]
|2024ko martxoa
|Databricks eta Mosaic ML
|{{sort|13600000000|136}}
|12T token
|
|{{Bai|Databricks Open Model License}}
|Entrenamenduak 10 milioi dolarreko kostua izan zuen.
|-
|Fugaku-HEH
|2024ko maiatza
|Fujitsu, Tokioko Teknologia Institutua, etab.
|{{sort|1300000000|13}}
|380 B token
|
|
|CPUtan bakarrik entrenatutako inoizko eredurik handiena, Fugakun.<ref>{{Cite web|izenburua=Fugaku-LLM/Fugaku-LLM-13B · Hugging Face|url=https://huggingface.co/Fugaku-LLM/Fugaku-LLM-13B|lana=huggingface.co|accessdate=2024-05-17}}</ref>
|-
|[[Phi (LLM)|Phi-3]]
|2024ko apirila
|Microsoft
|14<ref>{{Cite web|izenburua=Phi-3|data=23 April 2024|url=https://azure.microsoft.com/en-us/blog/introducing-phi-3-redefining-whats-possible-with-slms|lana=azure.microsoft.com|accessdate=2024-04-28}}</ref>
|4.8T token
|
|{{Bai|MIT}}
|Microsoftek "hizkuntza-eredu txiki" gisa komertzializatzen ditu.<ref>{{Cite web|izenburua=Phi-3 Model Documentation|url=https://huggingface.co/docs/transformers/main/en/model_doc/phi3|lana=huggingface.co|accessdate=2024-04-28}}</ref>
|-
|[[IBM Granite|Granite Code Models]]
|2024ko maiatza
|[[IBM]]
|Ezezaguna
|Ezezaguna
|Ezezaguna|| {{Bai|Apache 2.0}}
|
|-
|Qwen2
|2024ko ekaina
|[[Alibaba Cloud]]
|72<ref>{{Cite web|izenburua=Qwen2|url=https://github.com/QwenLM/Qwen2?spm=a3c0i.28768018.7084722650.1.5cd35c10NEqBXm&file=Qwen1.5|lana=[[GitHub]]|accessdate=2024-06-17}}</ref>
|3T token
|
|
|Hainbat tamaina, txikiena 0.5 B-koa izanik.
|-
|Nemotron-4
|2024ko ekaina
|[[Nvidia]]
|{{sort|34000000000|340}}
|9T token
|{{sort|200000|200,000}}
|{{Bai|NVIDIA Open Model License}}
|Epoch baterako entrenatua. H100 motako 6.144 GPUtan entrenatua 2023ko abendutik 2024ko maiatzera.<ref>{{Cite web|izenburua=nvidia/Nemotron-4-340B-Base · Hugging Face|data=2024-06-14|url=https://huggingface.co/nvidia/Nemotron-4-340B-Base|lana=huggingface.co|accessdate=2024-06-15}}</ref><ref>{{Cite web|izenburua=Nemotron-4 340B {{!}} Research|url=https://research.nvidia.com/publication/2024-06_nemotron-4-340b|lana=research.nvidia.com|accessdate=2024-06-15}}</ref>
|-
|[[LLaMA (hizkuntza-eredu handia)|Llama 3.1]]
|2024ko uztaila
|Meta AI
|405
|15.6 T token
|{{sort|440000|440,000}}
| {{Arrakasta partzial|Llama 3 license}}
|405B bertsioak 31 milioi ordu behar izan zituen H100-80GB makina batean, 3,8E25 FLOPetan.<ref>{{Cite web|izenburua=llama-models/models/llama3_1/MODEL_CARD.md at main · meta-llama/llama-models|hizkuntza=en|url=https://github.com/meta-llama/llama-models/blob/main/models/llama3_1/MODEL_CARD.md|lana=GitHub|accessdate=2024-07-23}}</ref>
|-
|Llama-eus-8B 
|2024ko iraila
|[[Orai NLP Teknologiak]]
|
|15.6 T + 0.5 T token[[LLaMA (hizkuntza-eredu handia)|Llama3.1-8B-ko]] corpusa + [[Testu corpus#ZelaiHandi corpusa|ZelaiHandi]] corpusa<ref>{{Erreferentzia|izenburua=orai-nlp/ZelaiHandi · Datasets at Hugging Face|data=2024-12-20|url=https://huggingface.co/datasets/orai-nlp/ZelaiHandi|aldizkaria=huggingface.co|sartze-data=2025-01-07}}</ref>
|
| {{Arrakasta partzial|Llama 3 license}}
|<ref>{{Erreferentzia|izenburua=Eredu neuronal berria euskarazko adimen artifizialerako {{!}} Orai|url=https://www.orai.eus/eu/bloga/eredu-neuronal-berria-euskarazko-adimen-artifizialerako|aldizkaria=www.orai.eus|sartze-data=2025-01-04}}</ref><ref>{{Erreferentzia|izenburua=Aitzol Astigarraga: "2025ean euskararentzako LLM propioaren garapenari lotuko gatzaizkio"|hizkuntza=eu|data=2024-12-31|url=https://www.enpresabidea.eus/berrikuntza/aitzol-astigarraga-orai-euskara-llm-adimen-artifiziala_2207597_102.html|aldizkaria=Enpresa Bidea|sartze-data=2025-01-04}}</ref>
|-
|DeepSeek V3
|2024ko abendua
|[[DeepSeek]]
|671
|14.8T token
|{{sort|44000|440,00}}0
|{{Bai|DeepSeek License}}
|2.788M ordu H800 GPUs makina batean.<ref>{{Citation |title=deepseek-ai/DeepSeek-V3 |date=2024-12-26 |url=https://github.com/deepseek-ai/DeepSeek-V3?tab=readme-ov-file |access-date=2024-12-26 |publisher=DeepSeek}}</ref>
|-
|Amazon Nova
|2024ko abendua
|[[Amazon]]
|Ezezaguna 
|Ezezaguna 
|Ezezaguna
|{{Ez|Proprietary}}
|Hiru eredu ditu: Nova Micro, Nova Lite, eta Nova Pro<ref>{{Citation |title=Amazon Nova Micro, Lite, and Pro - AWS AI Service Cards3 |date=2024-12-27 |url=https://docs.aws.amazon.com/ai/responsible-ai/nova-micro-lite-pro/overview.html |access-date=2024-12-27 |publisher=Amazon}}</ref>
|-
|[[DeepSeek]] R1
|2025eko urtarrila
|[[DeepSeek]]
|671
|Ezezaguna
|Ezezaguna
|{{Bai|MIT}}
|Aurre-entrenamendurik gabe.  V3-Base oinarriaren gainean.<ref>{{Erreferentzia|izenburua=deepseek-ai/DeepSeek-R1|argitaletxea=DeepSeek|data=2025-01-31|url=https://github.com/deepseek-ai/DeepSeek-R1|sartze-data=2025-01-31}}</ref>
|-
|Qwen2.5
|2025eko urtarrila
|Alibaba
|72
|18T token
|Ezezaguna
|{{Arrakasta partzial| License}}
|<ref>Qwen; Yang, An; Yang, Baosong; Zhang, Beichen; Hui, Binyuan; Zheng, Bo; Yu, Bowen; Li, Chengyuan; Liu, Dayiheng (2025-01-03), [[doi:10.48550/arXiv.2412.15115|Qwen2.5 Technical Report]], arXiv, doi:10.48550/arXiv.2412.15115, arXiv:2412.15115 </ref>
|-
|MiniMax-Text-01
|2025eko urtarrila
|Minimax
|456
|4.7T token
|Ezezaguna
|{{Arrakasta partzial|Minimax Model license}}
|<ref>MiniMax; Li, Aonian; Gong, Bangwei; Yang, Bo; Shan, Boji; Liu, Chang; Zhu, Cheng; Zhang, Chunhao; Guo, Congchao (2025-01-14), [[arxiv:2501.08313|MiniMax-01: Scaling Foundation Models with Lightning Attention]], arXiv, doi:10.48550/arXiv.2501.08313, arXiv:2501.08313</ref>
|}
== Erreferentziak ==
{{Erreferentzia zerrenda|30em}}
<references group="lower-alpha" />

== Ikus, gainera ==

* [[ChatGPT]]
* [[Claude (txatbota)|Claude]]
* [[Google Gemini|Gemini]]
* [[Perplexity AI]]
* [[Latxa (hizkuntza-eredu handia)|Latxa]]
* [[Laguntzaile birtual|Laguntzaile birtuala]]

== Kanpo estekak ==
* Leturia Azkarate, Igor. [https://zientzia.eus/artikuluak/adimen-artifizial-sortzailearen-booma/ Adimen artifizial sortzailearen booma] (Zientzia.eus, 2023)

{{autoritate kontrola}}
{{Adimen artifizial sortzailea}}

[[Kategoria:Adimen artifizial sortzailea]]
[[Kategoria:Hizkuntzaren prozesamendua]]
[[Kategoria:Hizkuntza Eredu Handiak]]