In mei 2020 bracht OpenAI, het AI-bedrijf dat mede is opgericht door Elon Musk en Sam Altman, GPT-3 uit, dat destijds werd aangeprezen als het meest toonaangevende neurale netwerk. GPT-3 is een geavanceerd taalmodel met 175 miljard parameters, vergeleken met de 1,5 miljard parameters van zijn voorganger, GPT-2.
GPT-3 overtrof Microsofts NLG Turing-model (Turing Natural Language Generation), dat 17 miljard parameters telde en voorheen het record voor het grootste neurale netwerk in handen had. Het taalmodel is bewonderd, bekritiseerd en zelfs onder de loep genomen; het heeft ook nieuwe en interessante toepassingen gevonden.
En nu duiken er geruchten op dat GPT-4 , de volgende versie van OpenAI's taalmodel, binnenkort zou kunnen verschijnen.
Hoewel er nog geen releasedatum is aangekondigd, heeft OpenAI wel al enkele indicaties gegeven over de kenmerken van de opvolger van GPT-3. Hieruit kunnen velen afleiden dat GPT-4 niet groter zal zijn dan GPT-3, maar wel meer rekenkracht zal vereisen, waardoor de impact op het milieu beperkt zal blijven.
Tijdens de sessie liet Altman doorschemeren dat GPT-4 , in tegenstelling tot wat algemeen wordt aangenomen, niet het grootste taalmodel zal zijn . Hoewel het model zeker groter zal zijn dan eerdere generaties neurale netwerken, zal de omvang niet de bepalende factor zijn.
Ten eerste hebben bedrijven zich gerealiseerd dat het gebruik van de modelgrootte als indicator om de prestaties te verbeteren niet de enige of beste manier is om dit te doen. In 2020 concludeerden Jared Kaplan en collega's van OpenAI naar verluidt dat de prestaties het meest verbeteren wanneer verhogingen van het rekenbudget voornamelijk worden toegewezen aan het vergroten van het aantal parameters, na een machtsrechtelijke relatie. Google, Nvidia, Microsoft, OpenAI, DeepMind en andere bedrijven die taalmodellen ontwikkelen, hebben deze richtlijnen voor waar aangenomen.
Maar MT-NLG (Megatron-Turing NLG, een neuraal netwerk dat vorig jaar door Nvidia en Microsoft is gebouwd met 530 miljard parameters), hoe geweldig het ook is, het is niet de beste als het gaat om prestaties. In feite wordt het in geen enkele benchmarkcategorie als de beste beoordeeld. Kleinere modellen zoals Gopher of Chinchilla (70 miljard parameters), slechts een fractie van hun grootte, zouden bij alle taken veel beter zijn dan MT-NLG. Zo werd duidelijk dat de grootte van het model niet de enige factor is die leidt tot een beter begrip van de taal.
Volgens Altman hebben taalmodellen een cruciale beperking als het gaat om optimalisatie. Training zou zo duur zijn dat bedrijven een compromis zouden moeten sluiten tussen nauwkeurigheid en kosten. Dit resulteert vaak in modellen die ernstig ondergeoptimaliseerd zijn.
De CEO meldde dat GPT-3 slechts één keer is getraind, ondanks enkele fouten die in andere gevallen tot omscholing zouden hebben geleid. Om deze reden heeft OpenAI naar verluidt besloten dit niet te doen vanwege de onbetaalbare kosten, waardoor de onderzoekers de beste set hyperparameters voor het model niet konden vinden.
Een ander gevolg van hoge opleidingskosten is dat analyses van modelgedrag worden beperkt. Volgens één rapport, toen AI-onderzoekers concludeerden dat de modelgrootte de meest relevante variabele was voor het verbeteren van de prestaties, hielden ze geen rekening met het aantal trainingstokens, dat wil zeggen de hoeveelheid gegevens die aan de modellen werden verstrekt. Hiervoor zouden buitengewone hoeveelheden computerbronnen nodig zijn geweest. Techbedrijven volgden naar verluidt de bevindingen van de onderzoekers omdat het de beste was die ze hadden.
Altman gaf aan dat GPT-4 aanzienlijk meer rekenkracht zal vergen dan zijn voorganger . Naar verwachting zal OpenAI optimalisatie-gerelateerde ideeën in GPT-4 implementeren, hoewel de omvang van deze implementatie onzeker is vanwege het beschikbare budget.
De uitspraken van Altman laten echter zien dat OpenAI zich zou moeten richten op het optimaliseren van andere variabelen dan de modelgrootte . Het vinden van de beste set hyperparameters, de optimale modelgrootte en het aantal parameters zou kunnen leiden tot ongelooflijke verbeteringen in alle benchmarks.
Volgens analisten zullen alle voorspellingen voor taalmodellen instorten als deze benaderingen worden gecombineerd tot één model. Altman zei ook dat mensen niet zouden geloven hoeveel betere modellen kunnen zijn zonder noodzakelijkerwijs groter te zijn. Het kan erop wijzen dat de schaalvergroting voorlopig voorbij is.
OpenAI heeft naar verluidt veel energie gestoken in het oplossen van het AI-afstemmingsprobleem: hoe kunnen taalmodellen menselijke bedoelingen volgen en zich houden aan menselijke waarden?
Analisten zeggen dat dit niet alleen een moeilijk wiskundig probleem is (hoe zorgen we ervoor dat de AI precies begrijpt wat we willen?), maar ook een filosofisch probleem (er is geen universele manier om AI op één lijn te brengen met de mens, aangezien de variabiliteit van de menselijke waarden van groep tot groep is enorm en vaak tegenstrijdig).
Als u tot slot meer wilt weten over dit onderwerp , kunt u de oorspronkelijke publicatie raadplegen via de volgende link.