Toukokuussa 2020 Elon Muskin ja Sam Altmanin perustama tekoälyyritys OpenAI julkaisi GPT-3:n, jota tuolloin mainostettiin johtavana neuroverkkona. Huippuluokan kielimalli GPT-3 sisältää 175 miljardia parametria verrattuna edeltäjänsä GPT-2:n 1,5 miljardiin parametriin.
GPT-3 ohitti Microsoftin NLG Turingin (Turing Natural Language Generation) mallin, jossa oli 17 miljardia parametria ja joka aiemmin piti hallussaan ennätystä suurimpana neuroverkkona. Kielimallia on ihailtu, kritisoitu ja jopa tarkasteltu; sille on myös löydetty uusia ja mielenkiintoisia sovelluksia.
Ja nyt on liikkunut huhuja, että GPT-4 , OpenAI:n kielimallin seuraava versio, saattaa olla tulossa pian.
Vaikka julkaisupäivää ei ole vielä ilmoitettu, OpenAI on antanut joitakin viitteitä GPT-3:n seuraajan ominaisuuksista, joista monet voisivat olettaa, että GPT-4:n ei pitäisi olla GPT-3:a suurempi, mutta sen tulisi käyttää enemmän laskentaresursseja, mikä rajoittaa sen ympäristövaikutuksia.
Istunnon aikana Altman vihjasi , että vastoin yleistä uskomusta GPT-4 ei tule olemaan suurin kielimalli . Vaikka malli on varmasti suurempi kuin aiemmat neuroverkkojen sukupolvet, koko ei ole sen määrittelevä ominaisuus.
Ensinnäkin yritykset ovat ymmärtäneet, että mallin koon käyttäminen suorituskyvyn parantamisen indikaattorina ei ole ainoa tai paras tapa tehdä se. Vuonna 2020 Jared Kaplan ja kollegat OpenAI:sta totesivat, että suorituskyky paranee eniten, kun laskentabudjetin lisäykset kohdistetaan ensisijaisesti parametrien määrän lisäämiseen teholain suhteen. Google, Nvidia, Microsoft, OpenAI, DeepMind ja muut kielimalleja kehittävät yritykset ovat ottaneet nämä ohjeet nimensä mukaisesti.
Mutta MT-NLG (Megatron-Turing NLG, Nvidian ja Microsoftin viime vuonna rakentama neuroverkko, jossa on 530 miljardia parametria), niin hieno kuin se on, ei ole suorituskyvyltään paras. Itse asiassa sitä ei ole arvioitu parhaaksi missään vertailuluokassa. Pienemmät mallit, kuten Gopher tai Chinchilla (70 miljardia parametria), vain murto-osa koostaan, olisivat paljon parempia kuin MT-NLG kaikissa tehtävissä. Näin kävi selväksi, että mallin koko ei ole ainoa tekijä, joka johtaa parempaan kielen ymmärtämiseen.
Altmanin mukaan kielimalleilla on kriittinen rajoitus optimoinnin suhteen. Koulutus olisi niin kallista, että yritysten olisi tehtävä kompromisseja tarkkuuden ja kustannusten välillä. Tämä johtaa usein malleihin, jotka ovat pahasti alioptimoituja.
Toimitusjohtaja kertoi, että GPT-3 koulutettiin vain kerran, huolimatta joistakin virheistä, jotka muissa tapauksissa olisivat johtaneet uudelleenkoulutukseen. Tästä johtuen OpenAI ilmoitti päätyneen sitä vastaan kohtuuttomien kustannusten vuoksi, mikä esti tutkijoita löytämään parasta hyperparametrisarjaa mallille.
Toinen seuraus korkeista koulutuskustannuksista on, että mallien käyttäytymisen analysointia rajoitetaan. Erään raportin mukaan, kun tekoälytutkijat päättelivät, että mallin koko oli olennaisin muuttuja suorituskyvyn parantamiseksi, he eivät huomioineet harjoitusmerkkien määrää eli malleille toimitetun datan määrää. Tämä olisi vaatinut poikkeuksellisen paljon laskentaresursseja. Teknologiayhtiöiden kerrotaan seuranneen tutkijoiden löydöksiä, koska se oli parasta, mitä heillä oli.
Altmanin mukaan GPT-4 tulee käyttämään huomattavasti enemmän laskentatehoa kuin edeltäjänsä . OpenAI:n odotetaan toteuttavan GPT-4:ssä optimointiin liittyviä ideoita, vaikka tämän toteutuksen laajuus on epävarma sen budjetin vuoksi.
Altmanin lausunnot kuitenkin osoittavat, että OpenAI:n tulisi keskittyä muiden muuttujien kuin mallin koon optimointiin . Parhaan hyperparametrijoukon, optimaalisen mallin koon ja parametrien lukumäärän löytäminen voisi johtaa uskomattomiin parannuksiin kaikissa vertailuarvoissa.
Analyytikoiden mukaan kaikki kielimallien ennusteet romahtavat, jos nämä lähestymistavat yhdistetään yhdeksi malliksi. Altman sanoi myös, että ihmiset eivät uskoisi kuinka paljon parempia mallit voivat olla ilman, että ne ovat välttämättä suurempia. Se saattaa viitata siihen, että skaalaustyöt ovat nyt ohi.
OpenAI on kuulemma panostanut paljon tekoälyn kohdistusongelman ratkaisemiseen: kuinka saada kielimallit seuraamaan ihmisen aikomuksia ja noudattamaan inhimillisiä arvoja?
Analyytikot sanovat, että tämä ei ole vain vaikea matemaattinen ongelma (miten saamme tekoälyn ymmärtämään tarkalleen, mitä haluamme?), vaan myös filosofinen (ei ole olemassa universaalia tapaa kohdistaa tekoäly ihmisten kanssa, koska tekoälyn vaihtelevuus inhimilliset arvot ryhmästä toiseen on valtava ja usein ristiriitainen).
Lopuksi, jos olet kiinnostunut oppimaan lisää tästä , voit tutustua alkuperäiseen julkaisuun seuraavasta linkistä.