A cikin Mayu 2020, OpenAI, kamfanin AI wanda Elon Musk da Sam Altman suka kafa, wanda aka buga GPT-3, sannan aka gabatar da shi azaman babbar hanyar sadarwa ta zamani. Samfurin harshe na zamani, GPT-3 ya ƙunshi sigogi biliyan 175 idan aka kwatanta da sigogi biliyan 1,5 na GPT-2 wanda ya gabace shi.
GPT-3 doke samfurin NLG Turing (Turing Natural Language Generation) daga Microsoft tare da sigogi biliyan 17 waɗanda a baya suka riƙe rikodin mafi girman hanyar sadarwa. An yi mamakin ƙirar harshe, an zarge shi har ma an yi masa bincike; ya kuma samo sababbin aikace-aikace masu ban sha'awa.
Kuma yanzu An fitar da jita-jita cewa an saki GPT-4, sigar gaba na ƙirar harshen OpenAI, na iya zuwa nan ba da jimawa ba.
Ko da yake har yanzu ba a sanar da ranar saki ba. OpenAI ya ba da wasu alamu game da halayen magajin GPT-3, wanda mutane da yawa za su yi tsammani, cewa GPT-4 bai kamata ya fi GPT-3 girma ba, amma ya kamata ya yi amfani da albarkatun lissafi, wanda zai iyakance tasirin muhalli.
A yayin zaman. Altman ya yi nuni da cewa, sabanin yadda mutane suka yi imani da shi, GPT-4 ba zai zama samfurin harshe mafi girma ba. Samfurin babu shakka zai zama mafi girma fiye da al'ummomin da suka gabata na hanyoyin sadarwar jijiyoyi, amma girman ba zai zama alamar sa ba.
Na farko, kamfanoni sun gane cewa yin amfani da girman samfurin a matsayin mai nuna alama don inganta aikin ba shine kawai ko hanya mafi kyau don yin shi ba. A cikin 2020, Jared Kaplan da abokan aiki a OpenAI sun ba da rahoton cewa aikin yana inganta mafi yawan lokacin da aka keɓance haɓakar ƙididdiga kasafin kuɗi da farko don ƙara yawan sigogi, bin alaƙar doka da iko. Google, Nvidia, Microsoft, OpenAI, DeepMind, da sauran kamfanoni waɗanda ke haɓaka ƙirar harshe sun ɗauki waɗannan jagororin akan darajar fuska.
Amma MT-NLG (Megatron-Turing NLG, cibiyar sadarwar jijiyar da Nvidia da Microsoft suka gina a bara tare da sigogi biliyan 530), mai girma kamar yadda yake, ba shine mafi kyau ba idan ya zo ga aiki. A haƙiƙa, ba a ƙididdige shi mafi kyau a kowane nau'in ma'auni ba. Ƙananan samfura kamar Gopher ko Chinchilla (misali biliyan 70), ɗan ƙaramin girman girman su, zai fi MT-NLG kyau a duk ɗawainiya. Don haka, ya bayyana a fili cewa girman samfurin ba shine kawai abin da ke haifar da kyakkyawar fahimtar harshe ba.
A cewar Altman, ƙirar harshe suna fama da ƙayyadaddun iyaka. idan ya zo ga ingantawa. Horon zai yi tsada sosai har kamfanoni za su yi sulhu tsakanin daidaito da farashi. Wannan sau da yawa yana haifar da ƙirar ƙira mara kyau.
Babban jami’in ya bayar da rahoton cewa, an horar da GPT-3 sau daya ne kawai, duk da wasu kura-kurai da a wasu lokuta sukan haifar da sake horarwa. Saboda wannan, an bayar da rahoton cewa OpenAI ya yanke shawarar gaba da shi saboda tsadar da ba za a iya araha ba, wanda ya hana masu binciken gano mafi kyawun saitin hyperparameters don ƙirar.
Wani sakamako na tsadar horarwa shine cewa za a taƙaita nazarin halayen ƙirar. A cewar wani rahoto, lokacin da masu bincike na AI suka yanke shawarar cewa girman samfurin shine mafi mahimmancin mahimmanci don inganta aikin, ba su yi la'akari da adadin alamun horo ba, wato, adadin bayanan da aka ba da samfurin. Wannan zai buƙaci kayan aikin kwamfuta na ban mamaki. An bayar da rahoton cewa, kamfanonin fasaha sun bi binciken da masu binciken suka yi, domin shi ne mafi kyaun da suke da shi.
Altman ya ce GPT-4 zai yi amfani da lissafin da yawa fiye da wanda ya riga shi. Ana sa ran OpenAI zai aiwatar da ra'ayoyi masu alaƙa da haɓakawa a cikin GPT-4, kodayake har zuwa wane irin ba za a iya annabta ba saboda ba a san kasafin kuɗin sa ba.
Duk da haka, maganganun na Altman ya nuna cewa ya kamata OpenAI ta mai da hankali kan inganta masu canji ban da girman ƙirar.. Nemo mafi kyawun saiti na hyperparameters, mafi kyawun girman ƙirar ƙira, da adadin sigogi na iya haifar da haɓaka mai ban mamaki a duk ma'auni.
A cewar manazarta, duk hasashe na ƙirar harshe za su ruguje idan aka haɗa waɗannan hanyoyin zuwa samfuri ɗaya. Altman ya kuma ce mutane ba za su yi imani da nawa ingantattun samfura za su iya zama ba tare da sun fi girma ba. Yana iya zama yana nuna cewa ƙoƙarce-ƙoƙarce ta ƙare a yanzu.
An ba da rahoton cewa OpenAI ya yi ƙoƙari mai yawa don magance matsalar daidaitawar AI: ta yaya za a sa ƙirar harshe su bi niyyar ɗan adam kuma su bi dabi'un ɗan adam?
Masu sharhi sun ce wannan ba kawai matsala ba ce mai wuyar lissafi ba (ta yaya za mu sa AI ta fahimci ainihin abin da muke so?), amma kuma falsafanci (babu wata hanya ta duniya don daidaita AI tare da mutane, tun lokacin da bambancin ra'ayi). dabi'un mutane daga rukuni zuwa rukuni suna da girma kuma galibi suna cin karo da juna).
Finalmente idan kuna sha'awar ƙarin sani game da shiza ku iya komawa zuwa ga ainihin post A cikin mahaɗin mai zuwa.