I maj 2020 udgav OpenAI, AI-virksomheden grundlagt af Elon Musk og Sam Altman, GPT-3, der på det tidspunkt blev udråbt som det førende neurale netværk. GPT-3 er en topmoderne sprogmodel, der inkluderer 175 milliarder parametre sammenlignet med de 1,5 milliarder parametre i sin forgænger, GPT-2.
GPT-3 overgik Microsofts NLG Turing (Turing Natural Language Generation) model, som havde 17 milliarder parametre og tidligere havde rekorden for det største neurale netværk. Sprogmodellen er blevet beundret, kritiseret og endda gransket; den har også fundet nye og interessante anvendelser.
Og nu er der dukket rygter op om, at udgivelsen af GPT-4 , den næste version af OpenAIs sprogmodel, kan være på vej snart.
Selvom en udgivelsesdato endnu ikke er blevet annonceret, har OpenAI givet nogle indikationer om egenskaberne ved efterfølgeren til GPT-3, hvoraf mange måske ville forvente, at GPT-4 ikke skulle være større end GPT-3, men bruge flere beregningsressourcer og dermed begrænse dens miljøpåvirkning.
Under sessionen antydede Altman, at GPT-4 , i modsætning til hvad mange tror, ikke vil være den største sprogmodel . Selvom modellen helt sikkert vil være større end tidligere generationer af neurale netværk, vil størrelse ikke være dens definerende karakteristik.
For det første har virksomheder indset, at brug af modelstørrelse som en indikator til at forbedre ydeevnen ikke er den eneste eller bedste måde at gøre det på. I 2020 konkluderede Jared Kaplan og hans OpenAI-kolleger efter sigende, at ydeevnen forbedres mest, når stigninger i beregningsbudgettet primært allokeres til at øge antallet af parametre, efter et magtlovsforhold. Google, Nvidia, Microsoft, OpenAI, DeepMind og andre virksomheder, der udvikler sprogmodeller, har taget disse retningslinjer for pålydende.
Men MT-NLG (Megatron-Turing NLG, et neuralt netværk bygget af Nvidia og Microsoft sidste år med 530 milliarder parametre), fantastisk som det er, er ikke det bedste, når det kommer til ydeevne. Faktisk er den ikke vurderet som den bedste i nogen benchmarkkategori. Mindre modeller som Gopher eller Chinchilla (70 milliarder parametre), kun en brøkdel af deres størrelse, ville være meget bedre end MT-NLG i alle opgaver. Dermed blev det klart, at modellens størrelse ikke er den eneste faktor, der fører til en bedre forståelse af sproget.
Ifølge Altman lider sprogmodeller af en kritisk begrænsning, når det kommer til optimering. Træning ville være så dyr, at virksomheder ville være nødt til at gå på kompromis mellem nøjagtighed og omkostninger. Dette resulterer ofte i modeller, der er stærkt underoptimerede.
Den administrerende direktør rapporterede, at GPT-3 kun blev trænet én gang, på trods af nogle fejl, der i andre tilfælde ville have ført til omskoling. På grund af dette besluttede OpenAI sig angiveligt imod det på grund af uoverkommelige omkostninger, som forhindrede forskerne i at finde det bedste sæt hyperparametre til modellen.
En anden konsekvens af høje uddannelsesomkostninger er, at analyser af modeladfærd ville blive begrænset. Ifølge en rapport, da AI-forskere konkluderede, at modelstørrelsen var den mest relevante variabel til at forbedre ydeevnen, tog de ikke højde for antallet af træningstokens, det vil sige mængden af data, der blev leveret til modellerne. Dette ville have krævet ekstraordinære mængder computerressourcer. Teknikvirksomheder fulgte efter sigende forskernes resultater, fordi det var det bedste, de havde.
Altman sagde, at GPT-4 vil bruge betydeligt flere beregninger end sin forgænger . OpenAI forventes at implementere optimeringsrelaterede ideer i GPT-4, selvom omfanget af denne implementering er usikkert på grund af budgettet.
Altmans udsagn viser dog, at OpenAI bør fokusere på at optimere andre variabler end modelstørrelse . At finde det bedste sæt af hyperparametre, den optimale modelstørrelse og antallet af parametre kan føre til utrolige forbedringer på tværs af alle benchmarks.
Ifølge analytikere vil alle forudsigelser for sprogmodeller kollapse, hvis disse tilgange kombineres til en enkelt model. Altman sagde også, at folk ikke ville tro, hvor meget bedre modeller kan være uden nødvendigvis at være større. Det kan tyde på, at skaleringsindsatsen er forbi for nu.
OpenAI har angiveligt lagt en stor indsats i at løse AI-tilpasningsproblemet: hvordan får man sprogmodeller til at følge menneskelige intentioner og overholde menneskelige værdier?
Analytikere siger, at dette ikke kun er et vanskeligt matematisk problem (hvordan får vi AI til at forstå præcis, hvad vi ønsker?), men også et filosofisk (der er ingen universel måde at tilpasse AI med mennesker, da de menneskelige værdiers variabilitet fra gruppe til gruppe er enorm og ofte modstridende).
Endelig, hvis du er interesseret i at lære mere om dette , kan du konsultere den originale publikation på følgende link.