Noong Mayo 2020, inilabas ng OpenAI, ang kompanya ng AI na itinatag nina Elon Musk at Sam Altman, ang GPT-3, na itinaguyod noong panahong iyon bilang nangungunang neural network. Isang makabagong modelo ng wika, ang GPT-3 ay may kasamang 175 bilyong parameter kumpara sa 1,5 bilyong parameter ng hinalinhan nito, ang GPT-2.
Nahigitan ng GPT-3 ang modelo ng NLG Turing (Turing Natural Language Generation) ng Microsoft, na mayroong 17 bilyong parameter at dating may hawak ng rekord para sa pinakamalaking neural network. Ang modelo ng wika ay hinangaan, pinuna, at sinuri pa; nakatuklas din ito ng mga bago at kawili-wiling aplikasyon.
At ngayon ay may mga tsismis na maaaring malapit nang ilabas ang GPT-4 , ang susunod na bersyon ng modelo ng wika ng OpenAI.
Bagama't hindi pa inihahayag ang petsa ng paglabas, nagbigay ang OpenAI ng ilang indikasyon tungkol sa mga katangian ng kahalili ng GPT-3, kung saan maaaring asahan ng marami na ang GPT-4 ay hindi dapat mas malaki kaysa sa GPT-3, ngunit dapat gumamit ng mas maraming mapagkukunang pangkompyuter, kaya nililimitahan ang epekto nito sa kapaligiran.
Sa sesyon, ipinahiwatig ni Altman na , taliwas sa paniniwala ng marami, ang GPT-4 ay hindi magiging pinakamalaking modelo ng wika . Bagama't tiyak na mas malaki ang modelo kaysa sa mga nakaraang henerasyon ng mga neural network, ang laki ay hindi magiging katangian nito.
Una, napagtanto ng mga kumpanya na ang paggamit ng laki ng modelo bilang isang tagapagpahiwatig upang mapabuti ang pagganap ay hindi lamang o pinakamahusay na paraan upang gawin ito. Noong 2020, si Jared Kaplan at ang kanyang mga kasamahan sa OpenAI ay naiulat na napagpasyahan na ang pagganap ay higit na bumubuti kapag ang mga pagtaas sa compute na badyet ay pangunahing inilalaan sa pagtaas ng bilang ng mga parameter, kasunod ng isang relasyon sa kapangyarihan-batas. Ginamit ng Google, Nvidia, Microsoft, OpenAI, DeepMind, at iba pang kumpanya na bumuo ng mga modelo ng wika ang mga alituntuning ito sa halaga ng mukha.
Ngunit ang MT-NLG (Megatron-Turing NLG, isang neural network na binuo ng Nvidia at Microsoft noong nakaraang taon na may 530 bilyong mga parameter), gayunpaman, ay hindi ang pinakamahusay pagdating sa pagganap. Sa katunayan, hindi ito na-rate na pinakamahusay sa anumang kategorya ng benchmark. Ang mas maliliit na modelo tulad ng Gopher o Chinchilla (70 bilyong mga parameter), isang bahagi lamang ng kanilang laki, ay magiging mas mahusay kaysa sa MT-NLG sa lahat ng mga gawain. Kaya, naging malinaw na ang laki ng modelo ay hindi lamang ang kadahilanan na humahantong sa isang mas mahusay na pag-unawa sa wika.
Ayon kay Altman, ang mga modelo ng wika ay dumaranas ng isang kritikal na limitasyon pagdating sa pag-optimize. Ang pagsasanay ay magiging napakamahal kaya't ang mga kumpanya ay kailangang magkompromiso sa pagitan ng katumpakan at gastos. Kadalasan itong nagreresulta sa mga modelo na lubhang hindi na-optimize.
Iniulat ng CEO na isang beses lang sinanay ang GPT-3, sa kabila ng ilang mga pagkakamali na sa ibang mga kaso ay maaaring humantong sa muling pagsasanay. Dahil dito, ang OpenAI ay naiulat na nagpasya laban dito dahil sa hindi abot-kayang gastos, na pumigil sa mga mananaliksik sa paghahanap ng pinakamahusay na hanay ng mga hyperparameter para sa modelo.
Ang isa pang kahihinatnan ng mataas na gastos sa pagsasanay ay ang pag-aaral ng pag-uugali ng modelo ay paghihigpitan. Ayon sa isang ulat, nang napagpasyahan ng mga mananaliksik ng AI na ang laki ng modelo ay ang pinaka-kaugnay na variable para sa pagpapabuti ng pagganap, hindi nila isinasaalang-alang ang bilang ng mga token ng pagsasanay, iyon ay, ang dami ng data na ibinigay sa mga modelo. Nangangailangan ito ng hindi pangkaraniwang halaga ng mga mapagkukunan sa pag-compute. Ang mga tech na kumpanya ay naiulat na sinunod ang mga natuklasan ng mga mananaliksik dahil ito ang pinakamahusay na mayroon sila.
Sinabi ni Altman na ang GPT-4 ay gagamit ng mas maraming kalkulasyon kaysa sa nauna nito . Inaasahang ipapatupad ng OpenAI ang mga ideyang may kaugnayan sa pag-optimize sa GPT-4, bagama't hindi tiyak ang lawak ng implementasyong ito dahil sa badyet nito.
Gayunpaman, ipinapakita ng mga pahayag ni Altman na dapat tumuon ang OpenAI sa pag-optimize ng mga baryabol maliban sa laki ng modelo . Ang paghahanap ng pinakamahusay na hanay ng mga hyperparameter, ang pinakamainam na laki ng modelo, at ang bilang ng mga parameter ay maaaring humantong sa hindi kapani-paniwalang mga pagpapabuti sa lahat ng mga benchmark.
Ayon sa mga analyst, ang lahat ng mga hula para sa mga modelo ng wika ay babagsak kung ang mga diskarte na ito ay pinagsama sa isang solong modelo. Sinabi rin ni Altman na hindi maniniwala ang mga tao kung gaano kahusay ang mga modelo nang hindi kinakailangang mas malaki. Maaaring iminumungkahi nito na ang mga pagsusumikap sa pag-scale ay tapos na sa ngayon.
Ang OpenAI ay iniulat na naglagay ng maraming pagsisikap sa paglutas ng problema sa AI alignment: paano gagawing sundin ng mga modelo ng wika ang mga intensyon ng tao at sumunod sa mga halaga ng tao?
Sinasabi ng mga analyst na ito ay hindi lamang isang mahirap na problema sa matematika (paano natin gagawing maunawaan ng AI kung ano mismo ang gusto natin?), ngunit isa ring pilosopiko (walang unibersal na paraan upang ihanay ang AI sa mga tao, dahil ang pagkakaiba-iba ng mga halaga ng tao mula sa grupo hanggang sa grupo ay napakalaki at kadalasang nagkakasalungatan).
Panghuli, kung interesado kang matuto nang higit pa tungkol dito , maaari mong tingnan ang orihinal na publikasyon sa sumusunod na link.