2020. gada maijā mākslīgā intelekta uzņēmums OpenAI, ko līdzdibināja Elons Masks un Sems Altmans, izlaida GPT-3, kas tolaik tika reklamēts kā vadošais neironu tīkls. GPT-3, kas ir vismodernākais valodas modelis, ietver 175 miljardus parametru, salīdzinot ar tā priekšgājēja GPT-2 1,5 miljardiem parametru.
GPT-3 pārspēja Microsoft NLG Turing (Turing Natural Language Generation) modeli, kuram bija 17 miljardi parametru un kas iepriekš bija lielākā neironu tīkla rekords. Valodas modelis ir ticis apbrīnots, kritizēts un pat rūpīgi pārbaudīts; tam ir atrasti arī jauni un interesanti pielietojumi.
Un tagad ir parādījušās baumas, ka drīzumā varētu tikt izlaista GPT-4 , nākamā OpenAI valodas modeļa versija.
Lai gan izlaišanas datums vēl nav paziņots, OpenAI ir sniedzis dažas norādes par GPT-3 pēcteča īpašībām, no kurām daudzi varētu sagaidīt, ka GPT-4 nevajadzētu būt lielākam par GPT-3, bet gan izmantot vairāk skaitļošanas resursu, tādējādi ierobežojot tā ietekmi uz vidi.
Sesijas laikā Altmans deva mājienu , ka pretēji izplatītajam uzskatam, GPT-4 nebūs lielākais valodas modelis . Lai gan modelis noteikti būs lielāks nekā iepriekšējās neironu tīklu paaudzes, izmērs nebūs tā noteicošā īpašība.
Pirmkārt, uzņēmumi ir sapratuši, ka modeļa lieluma izmantošana kā rādītāja veiktspējas uzlabošanai nav vienīgais vai labākais veids, kā to izdarīt. Tiek ziņots, ka 2020. gadā Džareds Kaplans un viņa OpenAI kolēģi secināja, ka veiktspēja visvairāk uzlabojas, ja aprēķinu budžeta palielināšana galvenokārt tiek piešķirta parametru skaita palielināšanai, ievērojot varas un tiesību attiecības. Google, Nvidia, Microsoft, OpenAI, DeepMind un citi uzņēmumi, kas izstrādā valodu modeļus, ir izmantojuši šīs vadlīnijas pēc nominālvērtības.
Taču MT-NLG (Megatron-Turing NLG, neironu tīkls, ko pagājušajā gadā izveidoja Nvidia un Microsoft ar 530 miljardiem parametru), lai arī cik tas ir lielisks, veiktspējas ziņā nav tas labākais. Faktiski tas nav novērtēts kā labākais nevienā etalona kategorijā. Mazāki modeļi, piemēram, Gopher vai Chinchilla (70 miljardi parametru), kas ir tikai daļa no to izmēra, visos uzdevumos būtu daudz labāki par MT-NLG. Tādējādi kļuva skaidrs, ka modeļa izmērs nav vienīgais faktors, kas ved uz labāku valodas izpratni.
Pēc Altmana teiktā, valodu modeļiem ir būtisks ierobežojums optimizācijas ziņā. Apmācība būtu tik dārga, ka uzņēmumiem būtu jāmeklē kompromiss starp precizitāti un izmaksām. Tas bieži noved pie modeļiem, kas ir ļoti nepietiekami optimizēti.
Izpilddirektors ziņoja, ka GPT-3 tika apmācīts tikai vienu reizi, neskatoties uz dažām kļūdām, kas citos gadījumos būtu novedušas pie pārkvalifikācijas. Šī iemesla dēļ OpenAI, kā ziņots, izlēma pret to nepieejamo izmaksu dēļ, kas neļāva pētniekiem atrast modelim labāko hiperparametru komplektu.
Vēl viena augsto apmācības izmaksu sekas ir tāda, ka modeļa uzvedības analīze būtu ierobežota. Saskaņā ar vienu ziņojumu, kad AI pētnieki secināja, ka modeļa lielums ir vissvarīgākais mainīgais veiktspējas uzlabošanai, viņi neņēma vērā apmācības marķieru skaitu, tas ir, modeļiem sniegto datu apjomu. Tas būtu prasījis ārkārtīgi lielus skaitļošanas resursus. Tiek ziņots, ka tehnoloģiju uzņēmumi sekoja pētnieku atklājumiem, jo tie bija vislabākie.
Altmans teica, ka GPT-4 izmantos ievērojami vairāk aprēķinu nekā tā priekštecis . Paredzams, ka OpenAI ieviesīs ar optimizāciju saistītas idejas GPT-4, lai gan šīs ieviešanas apjoms nav skaidrs tā budžeta dēļ.
Tomēr Altmana apgalvojumi liecina, ka OpenAI vajadzētu koncentrēties uz citu mainīgo, ne tikai modeļa lieluma, optimizāciju . Labākā hiperparametru kopuma, optimālā modeļa lieluma un parametru skaita atrašana varētu novest pie neticama uzlabojuma visos etalonos.
Pēc analītiķu domām, visas valodas modeļu prognozes sabruks, ja šīs pieejas tiks apvienotas vienā modelī. Altmans arī teica, ka cilvēki neticētu, cik daudz labāki modeļi var būt, ja tie noteikti nav lielāki. Tas var likt domāt, ka mērogošanas centieni šobrīd ir beigušies.
Tiek ziņots, ka OpenAI ir pielicis daudz pūļu, lai atrisinātu AI saskaņošanas problēmu: kā panākt, lai valodas modeļi atbilstu cilvēka nodomiem un ievērotu cilvēka vērtības?
Analītiķi saka, ka šī ir ne tikai sarežģīta matemātiska problēma (kā panākt, lai AI saprastu, ko tieši mēs vēlamies?), bet arī filozofiska (nav universāla veida, kā saskaņot AI ar cilvēkiem, jo cilvēka vērtību mainīgums ir mainīgs). no grupas uz grupu ir milzīgs un bieži vien pretrunīgs).
Visbeidzot, ja vēlaties uzzināt vairāk par šo , varat iepazīties ar oriģinālo publikāciju , izmantojot šo saiti.