2020 m. gegužę Elono Musko ir Samas Altmanas įkurta dirbtinio intelekto bendrovė „OpenAI“ išleido GPT-3, tuo metu laikytą pirmaujančiu neuroniniu tinklu. GPT-3, pažangiausias kalbos modelis, apima 175 milijardus parametrų, palyginti su 1,5 milijardo parametrų, kaip ir jo pirmtakas GPT-2.
GPT-3 pranoko „Microsoft“ NLG Turingo (Turing Natural Language Generation) modelį, kuris turėjo 17 milijardų parametrų ir anksčiau buvo didžiausio neuroninio tinklo rekordo savininkas. Kalbos modelis buvo žavimasis, kritikuojamas ir netgi kruopščiai tiriamas; jis taip pat rado naujų ir įdomių pritaikymų.
Ir dabar pasirodė gandai, kad netrukus gali būti išleista GPT-4, kita „OpenAI“ kalbos modelio versija.
Nors išleidimo data dar nepaskelbta, „OpenAI“ pateikė tam tikrų užuominų apie GPT-3 įpėdinio charakteristikas, iš kurių daugelis galėtų tikėtis, kad GPT-4 neturėtų būti didesnis už GPT-3, tačiau turėtų naudoti daugiau skaičiavimo išteklių, taip apribodamas savo poveikį aplinkai.
Sesijos metu Altmanas užsiminė, kad , priešingai populiariam įsitikinimui, GPT-4 nebus didžiausias kalbos modelis . Nors modelis neabejotinai bus didesnis nei ankstesnių kartų neuroniniai tinklai, dydis nebus jo išskirtinė savybė.
Pirma, įmonės suprato, kad modelio dydžio kaip rodiklio naudojimas našumui pagerinti nėra vienintelis ar geriausias būdas tai padaryti. Pranešama, kad 2020 m. Jaredas Kaplanas ir jo „OpenAI“ kolegos padarė išvadą, kad našumas labiausiai pagerėja, kai didinant skaičiavimo biudžetą pirmiausia siekiama padidinti parametrų skaičių, atsižvelgiant į galios dėsnį. „Google“, „Nvidia“, „Microsoft“, „OpenAI“, „DeepMind“ ir kitos kalbos modelius kuriančios įmonės atsižvelgė į šias gaires.
Tačiau MT-NLG (Megatron-Turing NLG, praeitais metais Nvidia ir Microsoft sukurtas neuroninis tinklas su 530 milijardų parametrų), nors ir puikus, našumo atžvilgiu nėra pats geriausias. Tiesą sakant, jis nėra įvertintas geriausiais jokioje etaloninėje kategorijoje. Mažesni modeliai, tokie kaip Gopher arba Chinchilla (70 milijardų parametrų), tik dalis jų dydžio, būtų daug geresni nei MT-NLG atliekant visas užduotis. Taip tapo aišku, kad modelio dydis nėra vienintelis veiksnys, leidžiantis geriau suprasti kalbą.
Pasak Altmano, kalbos modeliai turi esminį optimizavimo apribojimą. Mokymai būtų tokie brangūs, kad įmonės turėtų ieškoti kompromisų tarp tikslumo ir kainos. Dėl to modeliai dažnai yra labai nepakankamai optimizuoti.
Generalinis direktorius pranešė, kad GPT-3 buvo apmokytas tik vieną kartą, nepaisant kai kurių klaidų, dėl kurių kitais atvejais būtų buvęs perkvalifikuotas. Pranešama, kad dėl šios priežasties „OpenAI“ nusprendė nepritarti dėl neįperkamų išlaidų, o tai neleido tyrėjams rasti geriausio modelio hiperparametrų rinkinio.
Kita didelių mokymo išlaidų pasekmė yra ta, kad modelio elgesio analizė būtų apribota. Remiantis viena ataskaita, kai dirbtinio intelekto tyrėjai padarė išvadą, kad modelio dydis yra svarbiausias kintamasis našumui gerinti, jie neatsižvelgė į mokymo žetonų skaičių, ty į modeliams pateiktų duomenų kiekį. Tam būtų reikėję nepaprastai daug kompiuterinių išteklių. Pranešama, kad technologijų įmonės vadovavosi tyrėjų išvadomis, nes tai buvo geriausia, ką turėjo.
Altmanas teigė, kad GPT-4 naudos žymiai daugiau skaičiavimų nei jo pirmtakas . Tikimasi, kad „OpenAI“ GPT-4 įgyvendins su optimizavimu susijusias idėjas, nors šio įgyvendinimo mastas nėra aiškus dėl biudžeto.
Tačiau Altmano teiginiai rodo, kad „OpenAI“ turėtų sutelkti dėmesį į kitų kintamųjų, o ne modelio dydžio, optimizavimą . Geriausio hiperparametrų rinkinio, optimalaus modelio dydžio ir parametrų skaičiaus radimas galėtų lemti neįtikėtinus patobulinimus visuose etalonuose.
Anot analitikų, visos kalbos modelių prognozės žlugs, jei šie metodai bus sujungti į vieną modelį. Altmanas taip pat sakė, kad žmonės nepatikės, kokie geresni modeliai gali būti, nebūtinai didesni. Tai gali reikšti, kad mastelio didinimo pastangos kol kas baigėsi.
Pranešama, kad „OpenAI“ įdėjo daug pastangų sprendžiant AI suderinimo problemą: kaip priversti kalbos modelius sekti žmogaus ketinimus ir laikytis žmogiškųjų vertybių?
Analitikai sako, kad tai ne tik sudėtinga matematinė problema (kaip priversti dirbtinį intelektą tiksliai suprasti, ko mes norime?), bet ir filosofinė (nėra universalaus būdo suderinti DI su žmonėmis, nes žmogaus vertybės skiriasi iš grupės į grupę yra didžiulis ir dažnai prieštaringas).
Galiausiai, jei norite sužinoti daugiau apie tai , galite peržiūrėti originalų leidinį, pateiktą šioje nuorodoje.