I maj 2020 släppte OpenAI, AI-företaget som grundades av Elon Musk och Sam Altman, GPT-3, som vid den tiden utropades till det ledande neurala nätverket. GPT-3 är en toppmodern språkmodell som inkluderar 175 miljarder parametrar jämfört med de 1,5 miljarder parametrarna i sin föregångare, GPT-2.
GPT-3 överträffade Microsofts NLG Turing-modell (Turing Natural Language Generation), som hade 17 miljarder parametrar och tidigare innehade rekordet för det största neurala nätverket. Språkmodellen har beundrats, kritiserats och till och med granskats; den har också funnit nya och intressanta tillämpningar.
Och nu har rykten dykt upp om att lanseringen av GPT-4 , nästa version av OpenAI:s språkmodell, kan komma snart.
Även om ett releasedatum ännu inte har tillkännagivits har OpenAI gett vissa indikationer om egenskaperna hos efterföljaren till GPT-3, varav många kan förvänta sig att GPT-4 inte ska vara större än GPT-3, utan bör använda mer beräkningsresurser och därmed begränsa dess miljöpåverkan.
Under sessionen antydde Altman att GPT-4 , i motsats till vad många tror, inte kommer att vara den största språkmodellen . Även om modellen säkerligen kommer att vara större än tidigare generationer av neurala nätverk, kommer storleken inte att vara dess avgörande egenskap.
För det första har företag insett att att använda modellstorlek som en indikator för att förbättra prestanda inte är det enda eller bästa sättet att göra det. År 2020 drog Jared Kaplan och kollegor på OpenAI enligt uppgift slutsatsen att prestandan förbättras mest när ökningar av beräkningsbudgeten i första hand allokeras till att öka antalet parametrar, efter ett makt-lagsförhållande. Google, Nvidia, Microsoft, OpenAI, DeepMind och andra företag som utvecklar språkmodeller har tagit dessa riktlinjer till nominellt värde.
Men MT-NLG (Megatron-Turing NLG, ett neuralt nätverk byggt av Nvidia och Microsoft förra året med 530 miljarder parametrar), bra som det är, är inte det bästa när det kommer till prestanda. Faktum är att det inte är rankat som bäst i någon benchmarkkategori. Mindre modeller som Gopher eller Chinchilla (70 miljarder parametrar), bara en bråkdel av deras storlek, skulle vara mycket bättre än MT-NLG i alla uppgifter. Därmed blev det tydligt att modellens storlek inte är den enda faktorn som leder till en bättre förståelse av språket.
Enligt Altman lider språkmodeller av en kritisk begränsning när det gäller optimering. Utbildning skulle bli så dyr att företag skulle behöva kompromissa mellan noggrannhet och kostnad. Detta resulterar ofta i modeller som är mycket underoptimerade.
VD:n rapporterade att GPT-3 tränades endast en gång, trots vissa fel som i andra fall skulle ha lett till omskolning. På grund av detta har OpenAI enligt uppgift beslutat emot det på grund av oöverkomliga kostnader, vilket hindrade forskarna från att hitta den bästa uppsättningen hyperparametrar för modellen.
En annan konsekvens av höga utbildningskostnader är att analyser av modellbeteende skulle begränsas. Enligt en rapport, när AI-forskare drog slutsatsen att modellstorleken var den mest relevanta variabeln för att förbättra prestanda, tog de inte hänsyn till antalet träningstokens, det vill säga mängden data som tillhandahålls till modellerna. Detta skulle ha krävt extraordinära mängder datorresurser. Teknikföretag sägs ha följt forskarnas resultat eftersom det var det bästa de hade.
Altman sa att GPT-4 kommer att använda betydligt fler beräkningar än sin föregångare . OpenAI förväntas implementera optimeringsrelaterade idéer i GPT-4, även om omfattningen av denna implementering är osäker på grund av dess budget.
Altmans uttalanden visar dock att OpenAI bör fokusera på att optimera andra variabler än modellstorlek . Att hitta den bästa uppsättningen hyperparametrar, den optimala modellstorleken och antalet parametrar kan leda till otroliga förbättringar över alla riktmärken.
Enligt analytiker kommer alla förutsägelser för språkmodeller att kollapsa om dessa tillvägagångssätt kombineras till en enda modell. Altman sa också att folk inte skulle tro hur mycket bättre modeller kan bli utan att nödvändigtvis vara större. Det kan tyda på att skalningsinsatserna är över för nu.
OpenAI har enligt uppgift lagt ner mycket ansträngning på att lösa AI-anpassningsproblemet: hur får man språkmodeller att följa mänskliga avsikter och följa mänskliga värderingar?
Analytiker säger att detta inte bara är ett svårt matematiskt problem (hur får vi AI att förstå exakt vad vi vill?), utan också ett filosofiskt (det finns inget universellt sätt att anpassa AI med människor, eftersom variationen i mänskliga värderingar från grupp till grupp är enorma och ofta motstridiga).
Slutligen, om du är intresserad av att lära dig mer om detta , kan du läsa originalpublikationen via följande länk.