Në maj të vitit 2020, OpenAI, kompania e inteligjencës artificiale e bashkëthemeluar nga Elon Musk dhe Sam Altman, publikoi GPT-3, i cili në atë kohë konsiderohej rrjeti kryesor nervor. Një model gjuhësor i teknologjisë së fundit, GPT-3 përfshin 175 miliardë parametra krahasuar me 1,5 miliardë parametra të paraardhësit të tij, GPT-2.
GPT-3 e tejkaloi modelin NLG Turing (Turing Natural Language Generation) të Microsoft-it, i cili kishte 17 miliardë parametra dhe më parë mbante rekordin për rrjetin nervor më të madh. Modeli gjuhësor është admiruar, kritikuar dhe madje është shqyrtuar me kujdes; ai gjithashtu ka gjetur zbatime të reja dhe interesante.
Dhe tani kanë dalë në sipërfaqe thashetheme se publikimi i GPT-4 , versioni i ardhshëm i modelit gjuhësor të OpenAI, mund të vijë së shpejti.
Edhe pse një datë lëshimi nuk është njoftuar ende, OpenAI ka dhënë disa indikacione rreth karakteristikave të pasardhësit të GPT-3, nga të cilat shumë mund të presin që GPT-4 nuk duhet të jetë më i madh se GPT-3, por duhet të përdorë më shumë burime llogaritëse, duke kufizuar kështu ndikimin e tij në mjedis.
Gjatë seancës, Altman la të kuptohej se , ndryshe nga sa besohet gjerësisht, GPT-4 nuk do të jetë modeli më i madh gjuhësor . Ndërsa modeli me siguri do të jetë më i madh se brezat e mëparshëm të rrjeteve nervore, madhësia nuk do të jetë karakteristika e tij përcaktuese.
Së pari, kompanitë kanë kuptuar se përdorimi i madhësisë së modelit si një tregues për të përmirësuar performancën nuk është mënyra e vetme ose më e mirë për ta bërë këtë. Në vitin 2020, Jared Kaplan dhe kolegët e tij OpenAI thuhet se arritën në përfundimin se performanca përmirësohet më së shumti kur rritjet në buxhetin llogaritës alokohen kryesisht për rritjen e numrit të parametrave, pas një marrëdhënieje pushtet-ligj. Google, Nvidia, Microsoft, OpenAI, DeepMind dhe kompani të tjera që zhvillojnë modele gjuhësore i kanë marrë këto udhëzime në vlerë.
Por MT-NLG (Megatron-Turing NLG, një rrjet nervor i ndërtuar nga Nvidia dhe Microsoft vitin e kaluar me 530 miliardë parametra), i shkëlqyer siç është, nuk është më i miri kur bëhet fjalë për performancën. Në fakt, nuk është vlerësuar si më i miri në asnjë kategori standarde. Modelet më të vogla si Gopher ose Chinchilla (70 miliardë parametra), vetëm një pjesë e madhësisë së tyre, do të ishin shumë më të mira se MT-NLG në të gjitha detyrat. Kështu, u bë e qartë se madhësia e modelit nuk është faktori i vetëm që çon në një kuptim më të mirë të gjuhës.
Sipas Altman, modelet gjuhësore vuajnë nga një kufizim kritik kur bëhet fjalë për optimizimin. Trajnimi do të ishte aq i kushtueshëm sa kompanitë do të duhej të bënin kompromis midis saktësisë dhe kostos. Kjo shpesh rezulton në modele që janë shumë të nën-optimizuara.
CEO raportoi se GPT-3 ishte trajnuar vetëm një herë, pavarësisht disa gabimeve që në raste të tjera do të kishin çuar në rikualifikim. Për shkak të kësaj, OpenAI thuhet se vendosi kundër tij për shkak të kostos së papërballueshme, gjë që i pengoi studiuesit të gjenin grupin më të mirë të hiperparametrave për modelin.
Një pasojë tjetër e kostove të larta të trajnimit është se analizat e sjelljes së modelit do të kufizoheshin. Sipas një raporti, kur studiuesit e AI arritën në përfundimin se madhësia e modelit ishte variabli më i rëndësishëm për përmirësimin e performancës, ata nuk morën parasysh numrin e shenjave të trajnimit, domethënë sasinë e të dhënave të ofruara për modelet. Kjo do të kërkonte sasi të jashtëzakonshme të burimeve kompjuterike. Kompanitë e teknologjisë thuhet se ndoqën gjetjet e studiuesve sepse ishte më e mira që kishin.
Altman tha se GPT-4 do të përdorë dukshëm më shumë llogaritje sesa paraardhësi i tij . OpenAI pritet të zbatojë ide të lidhura me optimizimin në GPT-4, megjithëse shkalla e këtij zbatimi është e pasigurt për shkak të buxhetit të tij.
Megjithatë, deklaratat e Altman tregojnë se OpenAI duhet të përqendrohet në optimizimin e variablave të tjera përveç madhësisë së modelit . Gjetja e grupit më të mirë të hiperparametrave, madhësisë optimale të modelit dhe numrit të parametrave mund të çojë në përmirësime të jashtëzakonshme në të gjitha testet e referencës.
Sipas analistëve, të gjitha parashikimet për modelet gjuhësore do të shemben nëse këto qasje kombinohen në një model të vetëm. Altman tha gjithashtu se njerëzit nuk do ta besonin se sa modele më të mira mund të jenë pa qenë domosdoshmërisht më të mëdha. Mund të sugjerojë që përpjekjet për shkallëzim kanë mbaruar tani për tani.
OpenAI thuhet se ka bërë shumë përpjekje për të zgjidhur problemin e shtrirjes së AI: si t'i bëjmë modelet e gjuhës të ndjekin qëllimet njerëzore dhe t'u përmbahen vlerave njerëzore?
Analistët thonë se ky nuk është vetëm një problem i vështirë matematikor (si ta bëjmë AI të kuptojë saktësisht atë që duam?), por gjithashtu një problem filozofik (nuk ka asnjë mënyrë universale për të lidhur AI me njerëzit, pasi ndryshueshmëria e vlerave njerëzore nga grupi në grup është i madh dhe shpesh konfliktual).
Së fundmi, nëse jeni të interesuar të mësoni më shumë rreth kësaj , mund të konsultoheni me botimin origjinal në lidhjen e mëposhtme.