GPT-4: OpenAI ची नैसर्गिक भाषा प्रक्रिया AI या सत्रानंतर येऊ शकते

मे 2020 मध्ये, ओपनएआय, एलोन मस्क आणि सॅम ऑल्टमन यांनी सह-स्थापित AI कंपनी, GPT-3 प्रकाशित केले, त्यानंतर ते क्षणाचे महान न्यूरल नेटवर्क म्हणून सादर केले. अत्याधुनिक भाषेचे मॉडेल, GPT-3 मध्ये 175 अब्ज पॅरामीटर्स समाविष्ट आहेत त्याच्या पूर्ववर्ती GPT-1,5 च्या 2 बिलियन पॅरामीटर्सच्या तुलनेत.

जीपीटी-3 NLG ट्युरिंग मॉडेलला हरवले (ट्युरिंग नॅचरल लँग्वेज जनरेशन) मायक्रोसॉफ्टकडून 17 अब्ज पॅरामीटर्ससह ज्याने यापूर्वी सर्वात मोठ्या न्यूरल नेटवर्कचा विक्रम केला होता. भाषा मॉडेल आश्चर्यचकित केले गेले आहे, टीका केली गेली आहे आणि अगदी छाननीच्या अधीन आहे; त्याला नवीन आणि मनोरंजक अनुप्रयोग देखील सापडले आहेत.

आणि आता GPT-4 च्या प्रकाशनाची अफवा पसरली आहे, OpenAI भाषा मॉडेलची पुढील आवृत्ती लवकरच येत आहे.

तरी अद्याप रिलीजची तारीख जाहीर केलेली नाही, OpenAI ने GPT-3 च्या उत्तराधिकार्‍यांच्या वैशिष्ट्यांबद्दल काही संकेत दिले आहेत, ज्यासह अनेकांची अपेक्षा असेल की GPT-4 हा GPT-3 पेक्षा मोठा नसावा, परंतु अधिक संगणकीय संसाधने वापरावीत, ज्यामुळे त्याचा पर्यावरणीय प्रभाव मर्यादित होईल.

सत्रादरम्यान, ऑल्टमनने तसे संकेत दिले, लोकप्रिय समजुतीच्या विरुद्ध, GPT-4 हे सर्वात मोठे भाषा मॉडेल असणार नाही. मॉडेल निःसंशयपणे न्यूरल नेटवर्कच्या मागील पिढ्यांपेक्षा मोठे असेल, परंतु आकार त्याचे वैशिष्ट्य असणार नाही.

प्रथम, कंपन्यांना हे समजले आहे की कामगिरी सुधारण्यासाठी मॉडेलचा आकार निर्देशक म्हणून वापरणे हा एकमेव किंवा सर्वोत्तम मार्ग नाही. 2020 मध्ये, जेरेड कॅप्लान आणि OpenAI मधील सहकाऱ्यांनी असा निष्कर्ष काढला की, जेव्हा पॉवर-कायदा संबंधानुसार, गणना बजेटमध्ये वाढ प्रामुख्याने पॅरामीटर्सची संख्या वाढवण्यासाठी वाटप केली जाते तेव्हा कामगिरी सर्वात जास्त सुधारते. Google, Nvidia, Microsoft, OpenAI, DeepMind आणि भाषा मॉडेल विकसित करणार्‍या इतर कंपन्यांनी ही मार्गदर्शक तत्त्वे दर्शनी मूल्यावर घेतली आहेत.

परंतु MT-NLG (Megatron-Turing NLG, Nvidia आणि Microsoft ने गेल्या वर्षी 530 अब्ज पॅरामीटर्ससह बनवलेले न्यूरल नेटवर्क), जसे की ते उत्कृष्ट आहे, ते कार्यक्षमतेच्या बाबतीत सर्वोत्तम नाही. खरं तर, याला कोणत्याही बेंचमार्क श्रेणीमध्ये सर्वोत्तम रेट केलेले नाही. गोफर किंवा चिंचिला (70 अब्ज पॅरामीटर्स) सारखी लहान मॉडेल्स, त्यांच्या आकाराचा फक्त एक अंश, सर्व कार्यांमध्ये MT-NLG पेक्षा खूपच चांगली असेल. अशा प्रकारे, हे स्पष्ट झाले की मॉडेलचा आकार हा एकमेव घटक नाही ज्यामुळे भाषेचे चांगले आकलन होते.

ऑल्टमनच्या मते, भाषा मॉडेल गंभीर मर्यादेने ग्रस्त आहेत. जेव्हा ऑप्टिमायझेशन येतो. प्रशिक्षण इतके महाग असेल की कंपन्यांना अचूकता आणि किंमत यामध्ये तडजोड करावी लागेल. यामुळे अनेकदा मॉडेल खराब ऑप्टिमाइझ केले जातात.

सीईओने नोंदवले की GPT-3 ला फक्त एकदाच प्रशिक्षित केले गेले, काही त्रुटी असूनही इतर प्रकरणांमध्ये पुन्हा प्रशिक्षण दिले गेले असते. यामुळे, OpenAI ने न परवडणाऱ्या किमतीमुळे त्याविरुद्ध निर्णय घेतला, ज्यामुळे संशोधकांना मॉडेलसाठी हायपरपॅरामीटर्सचा सर्वोत्तम संच शोधण्यापासून रोखले गेले.

उच्च प्रशिक्षण खर्चाचा आणखी एक परिणाम म्हणजे मॉडेल वर्तनाचे विश्लेषण प्रतिबंधित केले जाईल. एका अहवालानुसार, जेव्हा AI संशोधकांनी निष्कर्ष काढला की कामगिरी सुधारण्यासाठी मॉडेलचा आकार सर्वात संबंधित व्हेरिएबल आहे, तेव्हा त्यांनी प्रशिक्षण टोकन्सची संख्या, म्हणजेच मॉडेल्सना प्रदान केलेल्या डेटाची संख्या विचारात घेतली नाही. यासाठी विलक्षण प्रमाणात संगणकीय संसाधनांची आवश्यकता असेल. टेक कंपन्यांनी संशोधकांच्या निष्कर्षांचे कथितपणे पालन केले कारण ते त्यांच्याकडे असलेले सर्वोत्तम होते.

ऑल्टमॅन जीपीटी-4 त्याच्या पूर्ववर्तीपेक्षा कितीतरी अधिक गणना वापरेल. ओपनएआयने GPT-4 मध्ये ऑप्टिमायझेशन-संबंधित कल्पना अंमलात आणणे अपेक्षित आहे, जरी त्याचे बजेट अज्ञात असल्याने किती प्रमाणात सांगता येत नाही.

तथापि, च्या विधाने ऑल्टमॅनने दाखवले की ओपनएआयने मॉडेल आकाराव्यतिरिक्त व्हेरिएबल्स ऑप्टिमाइझ करण्यावर लक्ष केंद्रित केले पाहिजे.. हायपरपॅरामीटर्सचा सर्वोत्तम संच, इष्टतम मॉडेल आकार आणि पॅरामीटर्सची संख्या शोधल्याने सर्व बेंचमार्कमध्ये अविश्वसनीय सुधारणा होऊ शकतात.

विश्लेषकांच्या मते, जर हे दृष्टिकोन एकाच मॉडेलमध्ये एकत्र केले गेले तर भाषा मॉडेलसाठीचे सर्व अंदाज कोलमडतील. ऑल्टमनने असेही म्हटले आहे की लोक मोठ्या नसताना किती चांगले मॉडेल असू शकतात यावर लोक विश्वास ठेवणार नाहीत. स्केलिंगचे प्रयत्न आता संपले आहेत असे सुचवत असावे.

ओपनएआयने एआय संरेखन समस्येचे निराकरण करण्यासाठी खूप प्रयत्न केले: भाषा मॉडेल मानवी हेतूंचे पालन कसे करावे आणि मानवी मूल्यांचे पालन कसे करावे?

विश्लेषकांचे म्हणणे आहे की ही केवळ एक कठीण गणितीय समस्या नाही (एआय ला आपल्याला नेमके काय हवे आहे हे कसे समजावे?), परंतु एक तात्विक देखील आहे (एआयला मानवांशी संरेखित करण्याचा कोणताही सार्वत्रिक मार्ग नाही, कारण AI चे परिवर्तनशीलता आहे. मानवी मूल्ये एका गटापासून गटापर्यंत प्रचंड आणि अनेकदा परस्परविरोधी असतात).

शेवटी आपल्याला त्याबद्दल अधिक जाणून घेण्यात स्वारस्य असल्यासतुम्ही मूळ पोस्टचा संदर्भ घेऊ शकता पुढील लिंकवर


टिप्पणी करणारे सर्वप्रथम व्हा

आपली टिप्पणी द्या

आपला ई-मेल पत्ता प्रकाशित केला जाणार नाही. आवश्यक फील्ड चिन्हांकित केले आहेत *

*

*

  1. डेटा जबाबदार: मिगुएल Áन्गल गॅटन
  2. डेटाचा उद्देशः नियंत्रण स्पॅम, टिप्पणी व्यवस्थापन.
  3. कायदे: आपली संमती
  4. डेटा संप्रेषण: कायदेशीर बंधन वगळता डेटा तृतीय पक्षास कळविला जाणार नाही.
  5. डेटा संग्रहण: ओकेन्टस नेटवर्क (EU) द्वारा होस्ट केलेला डेटाबेस
  6. अधिकारः कोणत्याही वेळी आपण आपली माहिती मर्यादित, पुनर्प्राप्त आणि हटवू शकता.