GPT-4: OpenAI:n luonnollisen kielen käsittelyä käyttävä tekoäly saattaa saapua myöhemmin tällä lukukaudella

Toukokuussa 2020 OpenAI, Elon Muskin ja Sam Altmanin yhdessä perustama tekoälyyritys, julkaisi GPT-3:n, joka esiteltiin tämän hetken suurena hermoverkkona. Huippuluokan kielimalli, GPT-3 sisältää 175 miljardia parametria verrattuna edeltäjänsä GPT-1,5:n 2 miljardiin parametriin.

GPT-3 päihitti NLG Turingin mallin (Turing Natural Language Generation) Microsoftilta 17 miljardilla parametrilla, jolla oli aiemmin suurimman hermoverkon ennätys. Kielimallia on ihmetelty, arvosteltu ja jopa tarkasteltu; se on myös löytänyt uusia ja mielenkiintoisia sovelluksia.

Ja nyt Huhuja on julkaistu GPT-4:n julkaisusta, OpenAI-kielimallin seuraava versio, saattaa tulla pian.

Vaikka julkaisupäivää ei ole vielä ilmoitettu, OpenAI on antanut joitakin viitteitä GPT-3:n seuraajan ominaisuuksista, joita monet saattavat odottaa, että GPT-4 ei saisi olla suurempi kuin GPT-3, vaan sen tulisi käyttää enemmän laskentaresursseja, mikä rajoittaa sen ympäristövaikutuksia.

Istunnon aikana, Altman vihjasi siihen, vastoin yleistä käsitystä, GPT-4 ei ole suurin kielimalli. Malli on epäilemättä suurempi kuin aikaisemmat hermoverkkojen sukupolvet, mutta koko ei ole sen tunnusmerkki.

Ensinnäkin yritykset ovat ymmärtäneet, että mallin koon käyttäminen suorituskyvyn parantamisen indikaattorina ei ole ainoa tai paras tapa tehdä se. Vuonna 2020 Jared Kaplan ja kollegat OpenAI:sta totesivat, että suorituskyky paranee eniten, kun laskentabudjetin lisäykset kohdistetaan ensisijaisesti parametrien määrän lisäämiseen teholain suhteen. Google, Nvidia, Microsoft, OpenAI, DeepMind ja muut kielimalleja kehittävät yritykset ovat ottaneet nämä ohjeet nimensä mukaisesti.

Mutta MT-NLG (Megatron-Turing NLG, Nvidian ja Microsoftin viime vuonna rakentama neuroverkko, jossa on 530 miljardia parametria), niin hieno kuin se on, ei ole suorituskyvyltään paras. Itse asiassa sitä ei ole arvioitu parhaaksi missään vertailuluokassa. Pienemmät mallit, kuten Gopher tai Chinchilla (70 miljardia parametria), vain murto-osa koostaan, olisivat paljon parempia kuin MT-NLG kaikissa tehtävissä. Näin kävi selväksi, että mallin koko ei ole ainoa tekijä, joka johtaa parempaan kielen ymmärtämiseen.

Altmanin mukaan kielimallit kärsivät kriittisestä rajoituksesta. kun on kyse optimoinnista. Koulutus olisi niin kallista, että yritysten olisi tehtävä kompromisseja tarkkuuden ja kustannusten välillä. Tämä johtaa usein siihen, että mallit ovat huonosti optimoituja.

Toimitusjohtaja kertoi, että GPT-3 koulutettiin vain kerran, huolimatta joistakin virheistä, jotka muissa tapauksissa olisivat johtaneet uudelleenkoulutukseen. Tästä johtuen OpenAI ilmoitti päätyneen sitä vastaan ​​kohtuuttomien kustannusten vuoksi, mikä esti tutkijoita löytämään parasta hyperparametrisarjaa mallille.

Toinen seuraus korkeista koulutuskustannuksista on, että mallien käyttäytymisen analysointia rajoitetaan. Erään raportin mukaan, kun tekoälytutkijat päättelivät, että mallin koko oli olennaisin muuttuja suorituskyvyn parantamiseksi, he eivät huomioineet harjoitusmerkkien määrää eli malleille toimitetun datan määrää. Tämä olisi vaatinut poikkeuksellisen paljon laskentaresursseja. Teknologiayhtiöiden kerrotaan seuranneen tutkijoiden löydöksiä, koska se oli parasta, mitä heillä oli.

Altman sanoi, että GPT-4 käyttää paljon enemmän laskelmia kuin edeltäjänsä. OpenAI:n odotetaan toteuttavan optimointiin liittyviä ideoita GPT-4:ssä, vaikka kuinka paljon sitä ei voida ennustaa, koska sen budjetti ei ole tiedossa.

Kuitenkin lausunnot Altman osoittaa, että OpenAI:n tulisi keskittyä muiden muuttujien kuin mallikoon optimointiin.. Parhaan hyperparametrijoukon, optimaalisen mallikoon ja parametrien lukumäärän löytäminen voi johtaa uskomattomiin parannuksiin kaikissa vertailuarvoissa.

Analyytikoiden mukaan kaikki kielimallien ennusteet romahtavat, jos nämä lähestymistavat yhdistetään yhdeksi malliksi. Altman sanoi myös, että ihmiset eivät uskoisi kuinka paljon parempia mallit voivat olla ilman, että ne ovat välttämättä suurempia. Se saattaa viitata siihen, että skaalaustyöt ovat nyt ohi.

OpenAI on kuulemma panostanut paljon tekoälyn kohdistusongelman ratkaisemiseen: kuinka saada kielimallit seuraamaan ihmisen aikomuksia ja noudattamaan inhimillisiä arvoja?

Analyytikot sanovat, että tämä ei ole vain vaikea matemaattinen ongelma (miten saamme tekoälyn ymmärtämään tarkalleen, mitä haluamme?), vaan myös filosofinen (ei ole olemassa universaalia tapaa kohdistaa tekoäly ihmisten kanssa, koska tekoälyn vaihtelevuus inhimilliset arvot ryhmästä toiseen on valtava ja usein ristiriitainen).

Vihdoin jos olet kiinnostunut tietämään siitä lisäävoit viitata alkuperäiseen viestiin Seuraavassa linkissä.


Ole ensimmäinen kommentti

Jätä kommentti

Sähköpostiosoitettasi ei julkaista. Pakolliset kentät on merkitty *

*

*

  1. Vastuussa tiedoista: Miguel Ángel Gatón
  2. Tietojen tarkoitus: Roskapostin hallinta, kommenttien hallinta.
  3. Laillistaminen: Suostumuksesi
  4. Tietojen välittäminen: Tietoja ei luovuteta kolmansille osapuolille muutoin kuin lain nojalla.
  5. Tietojen varastointi: Occentus Networks (EU) isännöi tietokantaa
  6. Oikeudet: Voit milloin tahansa rajoittaa, palauttaa ja poistaa tietojasi.