V máji 2020 OpenAI, spoločnosť AI spoločne založená Elonom Muskom a Samom Altmanom, zverejnila GPT-3, ktorý sa potom prezentoval ako veľká neurónová sieť súčasnosti. Najmodernejší jazykový model, GPT-3 obsahuje 175 miliárd parametrov v porovnaní s 1,5 miliardami parametrov jeho predchodcu GPT-2.
GPT-3 poraziť NLG Turingov model (Turing Natural Language Generation) od Microsoftu so 17 miliardami parametrov, ktoré predtým držali rekord najväčšej neurónovej siete. Jazykový model bol obdivovaný, kritizovaný a dokonca podrobený skúmaniu; našiel aj nové a zaujímavé aplikácie.
A teraz objavili sa fámy, že vydanie GPT-4, ďalšia verzia jazykového modelu OpenAI, by mohla byť čoskoro k dispozícii.
Hoci zatiaľ nebol oznámený žiadny dátum vydania, OpenAI poskytla určité náznaky o vlastnostiach nástupcu GPT-3, pri ktorých by mnohí mohli očakávať, že GPT-4 by nemal byť väčší ako GPT-3, ale mal by využívať viac výpočtových zdrojov, čo obmedzí jeho vplyv na životné prostredie.
Počas relácie Altman to naznačil, napriek populárnemu názoru, GPT-4 nebude najväčším jazykovým modelom. Model bude nepochybne väčší ako predchádzajúce generácie neurónových sietí, ale veľkosť nebude jeho charakteristickým znakom.
Po prvé, spoločnosti si uvedomili, že používanie veľkosti modelu ako indikátora na zlepšenie výkonu nie je jediným alebo najlepším spôsobom, ako to dosiahnuť. V roku 2020 Jared Kaplan a jeho kolegovia z OpenAI údajne dospeli k záveru, že výkon sa najviac zlepší, keď sa zvýšenie výpočtového rozpočtu primárne vyčlení na zvýšenie počtu parametrov v nadväznosti na vzťah medzi mocou a zákonom. Google, Nvidia, Microsoft, OpenAI, DeepMind a ďalšie spoločnosti, ktoré vyvíjajú jazykové modely, prijali tieto pokyny za nominálnu hodnotu.
Ale MT-NLG (Megatron-Turing NLG, neurónová sieť postavená minulý rok spoločnosťami Nvidia a Microsoft s 530 miliardami parametrov), akokoľvek je skvelá, nie je najlepšia, pokiaľ ide o výkon. V skutočnosti nie je najlepšie hodnotený v žiadnej kategórii benchmarkov. Menšie modely ako Gopher alebo Chinchilla (70 miliárd parametrov), len zlomok ich veľkosti, by boli vo všetkých úlohách oveľa lepšie ako MT-NLG. Ukázalo sa teda, že veľkosť modelu nie je jediným faktorom, ktorý vedie k lepšiemu porozumeniu jazyka.
Podľa Altmana trpia jazykové modely kritickým obmedzením. pokiaľ ide o optimalizáciu. Školenie by bolo také drahé, že spoločnosti by museli robiť kompromisy medzi presnosťou a nákladmi. To často vedie k tomu, že modely sú zle optimalizované.
Generálny riaditeľ uviedol, že GPT-3 bol vyškolený iba raz, napriek niektorým chybám, ktoré by v iných prípadoch viedli k preškoleniu. Z tohto dôvodu sa OpenAI údajne rozhodol proti nemu kvôli nedostupným nákladom, ktoré zabránili výskumníkom nájsť najlepšiu sadu hyperparametrov pre model.
Ďalším dôsledkom vysokých nákladov na školenie je, že by boli obmedzené analýzy správania modelu. Podľa jednej správy, keď výskumníci AI dospeli k záveru, že veľkosť modelu bola najrelevantnejšou premennou na zlepšenie výkonu, nezohľadnili počet tréningových tokenov, teda množstvo údajov poskytnutých modelom. To by si vyžadovalo mimoriadne množstvo výpočtových zdrojov. Technické spoločnosti sa údajne riadili zisteniami výskumníkov, pretože to bolo to najlepšie, čo mali.
Altmann povedal, že GPT-4 bude využívať oveľa viac výpočtov ako jeho predchodca. Očakáva sa, že OpenAI implementuje nápady súvisiace s optimalizáciou v GPT-4, aj keď nie je možné predpovedať, do akej miery, pretože jeho rozpočet nie je známy.
Avšak vyjadrenia o Altman ukazuje, že OpenAI by sa malo zamerať na optimalizáciu premenných iných ako veľkosť modelu.. Nájdenie najlepšej sady hyperparametrov, optimálnej veľkosti modelu a počtu parametrov môže viesť k neuveriteľným zlepšeniam vo všetkých benchmarkoch.
Podľa analytikov sa všetky predpovede pre jazykové modely zrútia, ak sa tieto prístupy spoja do jedného modelu. Altman tiež povedal, že ľudia by neverili, o koľko môžu byť lepšie modely bez toho, aby boli nevyhnutne väčšie. Môže to naznačovať, že snahy o škálovanie sú nateraz u konca.
OpenAI údajne vynaložilo veľa úsilia na vyriešenie problému zosúladenia AI: ako dosiahnuť, aby jazykové modely sledovali ľudské zámery a dodržiavali ľudské hodnoty?
Analytici tvrdia, že to nie je len zložitý matematický problém (ako prinútime AI presne pochopiť, čo chceme?), ale aj filozofický (neexistuje žiadny univerzálny spôsob, ako zosúladiť AI s ľuďmi, pretože variabilita ľudských hodnôt od skupiny k skupine je obrovský a často protichodný).
Konečne ak máte záujem dozvedieť sa o tom viacmôžete sa odvolať na pôvodný príspevok Na nasledujúcom odkaze.