2020. aasta mais avaldas Elon Muski ja Sam Altmani kaasasutatud tehisintellekti ettevõte OpenAI GPT-3, mida tol ajal peeti juhtivaks närvivõrguks. Tipptasemel keelemudel GPT-3 sisaldab 175 miljardit parameetrit, võrreldes oma eelkäija GPT-2 1,5 miljardi parameetriga.
GPT-3 edestas Microsofti NLG Turingi (Turing Natural Language Generation) mudelit, millel oli 17 miljardit parameetrit ja mis varem hoidis suurima närvivõrgu rekordit. Keelemudelit on imetletud, kritiseeritud ja isegi uuritud; see on leidnud ka uusi ja huvitavaid rakendusi.
Ja nüüd on levinud kuulujutud, et GPT-4 , OpenAI keelemudeli järgmise versiooni, ilmumine võib peagi saabuda.
Kuigi ilmumiskuupäeva pole veel teada antud, on OpenAI andnud mõningaid vihjeid GPT-3 järeltulija omaduste kohta, millest paljud võivad eeldada, et GPT-4 ei tohiks olla suurem kui GPT-3, kuid peaks kasutama rohkem arvutusressursse, piirates seeläbi selle keskkonnamõju.
Sessiooni ajal vihjas Altman , et vastupidiselt levinud arvamusele ei ole GPT-4 suurim keelemudel . Kuigi mudel on kindlasti suurem kui eelmiste põlvkondade närvivõrgud, ei ole suurus selle määravaks omaduseks.
Esiteks on ettevõtted mõistnud, et mudeli suuruse kasutamine näitajana jõudluse parandamiseks ei ole ainus ega parim viis seda teha. 2020. aastal jõudsid Jared Kaplan ja kolleegid OpenAI-st väidetavalt järeldusele, et jõudlus paraneb kõige rohkem siis, kui arvutuseelarve suurendamine suunatakse peamiselt parameetrite arvu suurendamisele, järgides võimuseaduse suhet. Google, Nvidia, Microsoft, OpenAI, DeepMind ja teised ettevõtted, kes arendavad keelemudeleid, on neid suuniseid arvestanud.
Kuid MT-NLG (Megatron-Turing NLG, Nvidia ja Microsofti eelmisel aastal ehitatud närvivõrk 530 miljardi parameetriga), nii suurepärane, kui see on, pole jõudluse osas parim. Tegelikult pole seda hinnatud üheski võrdluskategoorias parimaks. Väiksemad mudelid, nagu Gopher või Chinchilla (70 miljardit parameetrit), mis on vaid murdosa nende suurusest, oleksid kõigis ülesannetes palju paremad kui MT-NLG. Nii sai selgeks, et mudeli suurus ei ole ainus tegur, mis viib keele parema mõistmiseni.
Altmani sõnul on keelemudelitel optimeerimise osas kriitiline piirang. Koolitus oleks nii kulukas, et ettevõtted peaksid tegema kompromisse täpsuse ja kulude vahel. See toob sageli kaasa mudelid, mis on tugevalt alaoptimeeritud.
Tegevjuht teatas, et GPT-3 koolitati ainult üks kord, hoolimata mõnest veast, mis muudel juhtudel oleks viinud ümberõppeni. Seetõttu otsustas OpenAI väidetavalt selle vastu, kuna see oli taskukohane, mis ei võimaldanud teadlastel leida mudeli jaoks parimat hüperparameetrite komplekti.
Kõrgete koolituskulude teine tagajärg on mudeli käitumise analüüside piiramine. Ühe aruande kohaselt ei võtnud AI teadlased järeldusele, et mudeli suurus on jõudluse parandamiseks kõige olulisem muutuja, ei võtnud nad arvesse koolitusmärkide arvu, st mudelitele esitatavate andmete hulka. See oleks nõudnud erakordselt suuri arvutusressursse. Tehnikaettevõtted järgisid teadlaste leide, sest see oli parim, mis neil oli.
Altman ütles, et GPT-4 kasutab oluliselt rohkem arvutusi kui tema eelkäija . OpenAI peaks GPT-4-s rakendama optimeerimisega seotud ideid, kuigi selle rakendamise ulatus on eelarve tõttu ebakindel.
Altmani väited näitavad aga, et OpenAI peaks keskenduma muude muutujate optimeerimisele peale mudeli suuruse . Parima hüperparameetrite komplekti, optimaalse mudeli suuruse ja parameetrite arvu leidmine võib viia uskumatute edusammudeni kõigis võrdlusalustes.
Analüütikute sõnul kukuvad kõik keelemudelite ennustused kokku, kui need lähenemisviisid ühendada üheks mudeliks. Altman ütles ka, et inimesed ei usuks, kui palju paremad võivad olla modellid, ilma et nad oleksid tingimata suuremad. See võib viidata sellele, et skaleerimisega seotud jõupingutused on praeguseks lõppenud.
Väidetavalt on OpenAI teinud palju pingutusi AI joondamise probleemi lahendamiseks: kuidas panna keelemudeleid järgima inimese kavatsusi ja järgima inimlikke väärtusi?
Analüütikud ütlevad, et see pole mitte ainult keeruline matemaatiline probleem (kuidas me saame tehisintellektil täpselt aru saada, mida me tahame?), vaid ka filosoofiline (ei ole universaalset viisi AI inimestega vastavusse viimiseks, kuna tehisintellekti varieeruvus on inimväärtused rühmast rühma on tohutud ja sageli vastuolulised).
Lõpuks, kui olete huvitatud selle kohta lisateabe saamisest , saate tutvuda originaalväljaandega järgmisel lingil.