V máji 2020 spoločnosť OpenAI, ktorá sa zaoberá umelou inteligenciou a ktorú spoluzaložili Elon Musk a Sam Altman, vydala GPT-3, v tom čase propagovanú ako poprednú neurónovú sieť. GPT-3, najmodernejší jazykový model, obsahuje 175 miliárd parametrov v porovnaní s 1,5 miliardami parametrov jeho predchodcu, GPT-2.
GPT-3 prekonal model NLG Turing (Turing Natural Language Generation) od spoločnosti Microsoft, ktorý mal 17 miliárd parametrov a predtým držal rekord za najväčšiu neurónovú sieť. Jazykový model bol obdivovaný, kritizovaný a dokonca aj skúmaný; našiel tiež nové a zaujímavé aplikácie.
A teraz sa objavili zvesti, že vydanie GPT-4 , ďalšej verzie jazykového modelu OpenAI, by mohlo byť čoskoro.
Hoci dátum vydania ešte nebol oznámený, OpenAI poskytla určité náznaky o charakteristikách nástupcu GPT-3, z ktorých by mnohí mohli očakávať, že GPT-4 by nemal byť väčší ako GPT-3, ale mal by využívať viac výpočtových zdrojov, čím by sa obmedzil jeho vplyv na životné prostredie.
Počas stretnutia Altman naznačil , že na rozdiel od všeobecného presvedčenia nebude GPT-4 najväčším jazykovým modelom . Hoci model bude určite väčší ako predchádzajúce generácie neurónových sietí, veľkosť nebude jeho určujúcou charakteristikou.
Po prvé, spoločnosti si uvedomili, že používanie veľkosti modelu ako indikátora na zlepšenie výkonu nie je jediným alebo najlepším spôsobom, ako to dosiahnuť. V roku 2020 Jared Kaplan a jeho kolegovia z OpenAI údajne dospeli k záveru, že výkon sa najviac zlepší, keď sa zvýšenie výpočtového rozpočtu primárne vyčlení na zvýšenie počtu parametrov v nadväznosti na vzťah medzi mocou a zákonom. Google, Nvidia, Microsoft, OpenAI, DeepMind a ďalšie spoločnosti, ktoré vyvíjajú jazykové modely, prijali tieto pokyny za nominálnu hodnotu.
Ale MT-NLG (Megatron-Turing NLG, neurónová sieť postavená minulý rok spoločnosťami Nvidia a Microsoft s 530 miliardami parametrov), akokoľvek je skvelá, nie je najlepšia, pokiaľ ide o výkon. V skutočnosti nie je najlepšie hodnotený v žiadnej kategórii benchmarkov. Menšie modely ako Gopher alebo Chinchilla (70 miliárd parametrov), len zlomok ich veľkosti, by boli vo všetkých úlohách oveľa lepšie ako MT-NLG. Ukázalo sa teda, že veľkosť modelu nie je jediným faktorom, ktorý vedie k lepšiemu porozumeniu jazyka.
Podľa Altmana trpia jazykové modely kritickým obmedzením, pokiaľ ide o optimalizáciu. Školenie by bolo také drahé, že by spoločnosti museli robiť kompromisy medzi presnosťou a nákladmi. To často vedie k modelom, ktoré sú výrazne nedostatočne optimalizované.
Generálny riaditeľ uviedol, že GPT-3 bol vyškolený iba raz, napriek niektorým chybám, ktoré by v iných prípadoch viedli k preškoleniu. Z tohto dôvodu sa OpenAI údajne rozhodol proti nemu kvôli nedostupným nákladom, ktoré zabránili výskumníkom nájsť najlepšiu sadu hyperparametrov pre model.
Ďalším dôsledkom vysokých nákladov na školenie je, že by boli obmedzené analýzy správania modelu. Podľa jednej správy, keď výskumníci AI dospeli k záveru, že veľkosť modelu bola najrelevantnejšou premennou na zlepšenie výkonu, nezohľadnili počet tréningových tokenov, teda množstvo údajov poskytnutých modelom. To by si vyžadovalo mimoriadne množstvo výpočtových zdrojov. Technické spoločnosti sa údajne riadili zisteniami výskumníkov, pretože to bolo to najlepšie, čo mali.
Altman povedal, že GPT-4 bude využívať podstatne viac výpočtov ako jeho predchodca . Očakáva sa, že OpenAI v GPT-4 implementuje myšlienky súvisiace s optimalizáciou, hoci rozsah tejto implementácie je vzhľadom na jeho rozpočet neistý.
Altmanove vyhlásenia však ukazujú, že OpenAI by sa mala zamerať na optimalizáciu iných premenných ako je veľkosť modelu . Nájdenie najlepšej sady hyperparametrov, optimálnej veľkosti modelu a počtu parametrov by mohlo viesť k neuveriteľným zlepšeniam vo všetkých benchmarkoch.
Podľa analytikov sa všetky predpovede pre jazykové modely zrútia, ak sa tieto prístupy spoja do jedného modelu. Altman tiež povedal, že ľudia by neverili, o koľko môžu byť lepšie modely bez toho, aby boli nevyhnutne väčšie. Môže to naznačovať, že snahy o škálovanie sú nateraz u konca.
OpenAI údajne vynaložilo veľa úsilia na vyriešenie problému zosúladenia AI: ako dosiahnuť, aby jazykové modely sledovali ľudské zámery a dodržiavali ľudské hodnoty?
Analytici tvrdia, že to nie je len zložitý matematický problém (ako prinútime AI presne pochopiť, čo chceme?), ale aj filozofický (neexistuje žiadny univerzálny spôsob, ako zosúladiť AI s ľuďmi, pretože variabilita ľudských hodnôt od skupiny k skupine je obrovský a často protichodný).
Nakoniec, ak sa chcete o tom dozvedieť viac , môžete si prečítať pôvodnú publikáciu na nasledujúcom odkaze.