2020 májusában az Elon Musk és Sam Altman által közösen alapított OpenAI mesterséges intelligencia fejlesztő cég kiadta a GPT-3-at, amelyet akkoriban a vezető neurális hálózatként emlegettek. A GPT-3, amely egy élvonalbeli nyelvi modell, 175 milliárd paramétert tartalmaz, szemben az elődje, a GPT-2 1,5 milliárd paraméterével.
A GPT-3 felülmúlta a Microsoft NLG Turing (Turing Natural Language Generation) modelljét, amely 17 milliárd paraméterrel rendelkezett, és korábban a legnagyobb neurális hálózat rekordját tartotta. A nyelvi modellt csodálták, kritizálták, sőt, vizsgálták is; új és érdekes alkalmazásokat is talált.
És most pletykák láttak napvilágot, hogy hamarosan megjelenik a GPT-4, az OpenAI nyelvi modelljének következő verziója.
Bár a megjelenési dátumot még nem jelentették be, az OpenAI adott néhány jelzést a GPT-3 utódjának jellemzőiről, amelyekből sokan azt várhatnák, hogy a GPT-4 nem lesz nagyobb, mint a GPT-3, viszont több számítási erőforrást kell használnia, ezáltal korlátozva a környezeti hatását.
Az ülés során Altman utalt arra , hogy a közhiedelemmel ellentétben a GPT-4 nem lesz a legnagyobb nyelvi modell . Bár a modell minden bizonnyal nagyobb lesz, mint a neurális hálózatok korábbi generációi, a méret nem lesz a meghatározó jellemzője.
Először is, a vállalatok rájöttek, hogy a modellméret mutatóként való használata a teljesítmény javítására nem az egyetlen vagy a legjobb módja ennek. 2020-ban Jared Kaplan és munkatársai az OpenAI-nál állítólag arra a következtetésre jutottak, hogy a teljesítmény akkor javul a legjobban, ha a számítási költségvetés növelését elsősorban a paraméterek számának növelésére fordítják, a hatványtörvény összefüggést követően. A Google, az Nvidia, a Microsoft, az OpenAI, a DeepMind és más, nyelvi modelleket fejlesztő cégek alaposra vették ezeket az irányelveket.
De az MT-NLG (Megatron-Turing NLG, az Nvidia és a Microsoft által tavaly épített neurális hálózat 530 milliárd paraméterrel), bármilyen nagyszerű is, teljesítményt tekintve nem a legjobb. Valójában egyetlen benchmark kategóriában sem értékelték a legjobbnak. Az olyan kisebb modellek, mint a Gopher vagy a Chinchilla (70 milliárd paraméter), méretüknek csak töredéke, minden feladatban sokkal jobbak lennének, mint az MT-NLG. Így világossá vált, hogy nem a modell mérete az egyetlen tényező, amely a nyelv jobb megértéséhez vezet.
Altman szerint a nyelvi modellek kritikus korlátozással rendelkeznek az optimalizálás terén. A betanítás olyan drága lenne, hogy a vállalatoknak kompromisszumot kellene kötniük a pontosság és a költségek között. Ez gyakran olyan modellekhez vezet, amelyek súlyosan aluloptimalizáltak.
A vezérigazgató arról számolt be, hogy a GPT-3-at csak egyszer képezték ki, annak ellenére, hogy néhány olyan hiba történt, amelyek más esetekben átképzéshez vezettek volna. Emiatt az OpenAI állítólag nem döntött a megfizethetetlen költségek miatt, ami megakadályozta, hogy a kutatók megtalálják a modell legjobb hiperparaméterkészletét.
A magas képzési költségek másik következménye, hogy a modell viselkedésének elemzése korlátozott lenne. Egy jelentés szerint, amikor a mesterséges intelligencia kutatói arra a következtetésre jutottak, hogy a modell mérete a legrelevánsabb változó a teljesítmény javításához, nem vették figyelembe a képzési tokenek számát, vagyis a modellekhez szolgáltatott adatok mennyiségét. Ez rendkívüli mennyiségű számítási erőforrást igényelt volna. A technológiai cégek állítólag azért követték a kutatók eredményeit, mert ez volt a legjobb, amijük volt.
Altman elmondta, hogy a GPT-4 lényegesen több számítást fog használni, mint elődje . Az OpenAI várhatóan optimalizálással kapcsolatos ötleteket fog megvalósítani a GPT-4-ben, bár ennek a megvalósításnak a mértéke a költségvetése miatt bizonytalan.
Altman kijelentései azonban azt mutatják, hogy az OpenAI-nak a modellméreten kívüli változók optimalizálására kellene összpontosítania . A legjobb hiperparaméterkészlet, az optimális modellméret és a paraméterek számának megtalálása hihetetlen javulást eredményezhet az összes benchmarkban.
Az elemzők szerint a nyelvi modellekre vonatkozó összes előrejelzés összeomlik, ha ezeket a megközelítéseket egyetlen modellben egyesítik. Altman azt is elmondta, hogy az emberek nem hinnék el, mennyivel jobbak lehetnek a modellek anélkül, hogy feltétlenül nagyobbak lennének. Ez azt sugallhatja, hogy a méretezési erőfeszítések most véget értek.
Az OpenAI állítólag sok erőfeszítést tett az AI-igazítási probléma megoldására: hogyan lehet a nyelvi modelleket az emberi szándékok követésére és az emberi értékekhez való ragaszkodásra késztetni?
Az elemzők szerint ez nem csak egy nehéz matematikai probléma (hogyan értsük meg az MI-vel, hogy pontosan mit akarunk?), hanem filozófiai is (nincs univerzális módszer az AI és az ember közötti összhangra, mivel az AI változékonysága az emberi értékek csoportról csoportra hatalmas és gyakran ellentmondó).
Végül, ha többet szeretne megtudni erről , az alábbi linken megtekintheti az eredeti kiadványt .