2020. gada maijā Īlona Maska un Sema Altmena līdzdibinātais mākslīgā intelekta uzņēmums OpenAI publicēja GPT-3, kas pēc tam tika pasniegts kā šī brīža lieliskākais neironu tīkls. Mūsdienīgs valodas modelis, GPT-3 ietver 175 miljardus parametru salīdzinājumā ar tā priekšgājēja GPT-1,5 2 miljardiem parametru.
GPT-3 pārspēt NLG Tjūringa modeli (Turing Natural Language Generation) no Microsoft ar 17 miljardiem parametru, kas iepriekš bija lielākā neironu tīkla rekords. Valodas modelis ir brīnījies, kritizēts un pat pārbaudīts; tas ir atradis arī jaunus un interesantus pielietojumus.
Un tagad ir izlaistas baumas, ka GPT-4 izlaišana, nākamā OpenAI valodas modeļa versija, varētu būt drīzumā.
Kaut gan izlaišanas datums vēl nav paziņots, OpenAI ir devis dažas norādes par GPT-3 pēcteča īpašībām, ar kurām daudzi varētu sagaidīt, ka GPT-4 nevajadzētu būt lielākam par GPT-3, bet tam vajadzētu izmantot vairāk skaitļošanas resursu, kas ierobežos tā ietekmi uz vidi.
Sesijas laikā, Altmans to deva mājienu, pretēji plaši izplatītam uzskatam, GPT-4 nebūs lielākais valodas modelis. Modelis neapšaubāmi būs lielāks nekā iepriekšējās neironu tīklu paaudzes, taču izmērs nebūs tā pazīme.
Pirmkārt, uzņēmumi ir sapratuši, ka modeļa lieluma izmantošana kā rādītāja veiktspējas uzlabošanai nav vienīgais vai labākais veids, kā to izdarīt. Tiek ziņots, ka 2020. gadā Džareds Kaplans un viņa OpenAI kolēģi secināja, ka veiktspēja visvairāk uzlabojas, ja aprēķinu budžeta palielināšana galvenokārt tiek piešķirta parametru skaita palielināšanai, ievērojot varas un tiesību attiecības. Google, Nvidia, Microsoft, OpenAI, DeepMind un citi uzņēmumi, kas izstrādā valodu modeļus, ir izmantojuši šīs vadlīnijas pēc nominālvērtības.
Taču MT-NLG (Megatron-Turing NLG, neironu tīkls, ko pagājušajā gadā izveidoja Nvidia un Microsoft ar 530 miljardiem parametru), lai arī cik tas ir lielisks, veiktspējas ziņā nav tas labākais. Faktiski tas nav novērtēts kā labākais nevienā etalona kategorijā. Mazāki modeļi, piemēram, Gopher vai Chinchilla (70 miljardi parametru), kas ir tikai daļa no to izmēra, visos uzdevumos būtu daudz labāki par MT-NLG. Tādējādi kļuva skaidrs, ka modeļa izmērs nav vienīgais faktors, kas ved uz labāku valodas izpratni.
Pēc Altmana domām, valodu modeļi cieš no kritiskiem ierobežojumiem. kad runa ir par optimizāciju. Apmācība būtu tik dārga, ka uzņēmumiem būtu jāpiekāpjas starp precizitāti un izmaksām. Tā rezultātā modeļi bieži ir slikti optimizēti.
Izpilddirektors ziņoja, ka GPT-3 tika apmācīts tikai vienu reizi, neskatoties uz dažām kļūdām, kas citos gadījumos būtu novedušas pie pārkvalifikācijas. Šī iemesla dēļ OpenAI, kā ziņots, izlēma pret to nepieejamo izmaksu dēļ, kas neļāva pētniekiem atrast modelim labāko hiperparametru komplektu.
Vēl viena augsto apmācības izmaksu sekas ir tāda, ka modeļa uzvedības analīze būtu ierobežota. Saskaņā ar vienu ziņojumu, kad AI pētnieki secināja, ka modeļa lielums ir vissvarīgākais mainīgais veiktspējas uzlabošanai, viņi neņēma vērā apmācības marķieru skaitu, tas ir, modeļiem sniegto datu apjomu. Tas būtu prasījis ārkārtīgi lielus skaitļošanas resursus. Tiek ziņots, ka tehnoloģiju uzņēmumi sekoja pētnieku atklājumiem, jo tie bija vislabākie.
Altman teica, ka GPT-4 izmantos daudz vairāk aprēķinu nekā tā priekšgājējs. Paredzams, ka OpenAI ieviesīs ar optimizāciju saistītas idejas GPT-4, lai gan to, cik lielā mērā nevar paredzēt, jo tā budžets nav zināms.
Tomēr paziņojumi par Altmans parāda, ka OpenAI jākoncentrējas uz citu mainīgo, nevis modeļa lieluma, optimizēšanu.. Atrodot labāko hiperparametru kopu, optimālo modeļa izmēru un parametru skaitu, var tikt sasniegti neticami uzlabojumi visos etalonos.
Pēc analītiķu domām, visas valodas modeļu prognozes sabruks, ja šīs pieejas tiks apvienotas vienā modelī. Altmans arī teica, ka cilvēki neticētu, cik daudz labāki modeļi var būt, ja tie noteikti nav lielāki. Tas var likt domāt, ka mērogošanas centieni šobrīd ir beigušies.
Tiek ziņots, ka OpenAI ir pielicis daudz pūļu, lai atrisinātu AI saskaņošanas problēmu: kā panākt, lai valodas modeļi atbilstu cilvēka nodomiem un ievērotu cilvēka vērtības?
Analītiķi saka, ka šī ir ne tikai sarežģīta matemātiska problēma (kā panākt, lai AI saprastu, ko tieši mēs vēlamies?), bet arī filozofiska (nav universāla veida, kā saskaņot AI ar cilvēkiem, jo cilvēka vērtību mainīgums ir mainīgs). no grupas uz grupu ir milzīgs un bieži vien pretrunīgs).
Beidzot ja jūs interesē uzzināt vairāk par tovarat atsaukties uz sākotnējo ziņu Šajā saitē.