GPT-4: OpenAI का नेचुरल लैंग्वेज प्रोसेसिंग AI इस सेमेस्टर के अंत में आ सकता है

मई 2020 में, OpenAI, एलोन मस्क और सैम ऑल्टमैन द्वारा सह-स्थापित AI कंपनी ने GPT-3 प्रकाशित किया, फिर इस समय के महान तंत्रिका नेटवर्क के रूप में प्रस्तुत किया गया। एक अत्याधुनिक भाषा मॉडल, GPT-3 में 175 बिलियन पैरामीटर शामिल हैं अपने पूर्ववर्ती GPT-1,5 के 2 बिलियन मापदंडों की तुलना में।

GPT-3 एनएलजी ट्यूरिंग मॉडल को हराया (ट्यूरिंग नेचुरल लैंग्वेज जेनरेशन) माइक्रोसॉफ्ट से 17 बिलियन मापदंडों के साथ जो पहले सबसे बड़े न्यूरल नेटवर्क का रिकॉर्ड रखते थे। भाषा मॉडल पर अचंभित किया गया है, आलोचना की गई है और यहां तक ​​कि जांच के अधीन भी किया गया है; इसे नए और दिलचस्प अनुप्रयोग भी मिले हैं।

और अब अफवाहें जारी की गई हैं कि GPT-4 . की रिहाई, OpenAI भाषा मॉडल का अगला संस्करण, जल्द ही आ सकता है।

हालांकि अभी तक कोई रिलीज की तारीख की घोषणा नहीं की गई है, ओपनएआई ने जीपीटी -3 के उत्तराधिकारी की विशेषताओं के बारे में कुछ संकेत दिए हैं, जिसके साथ कई लोग उम्मीद कर सकते हैं कि जीपीटी -4 जीपीटी -3 से बड़ा नहीं होना चाहिए, लेकिन अधिक कम्प्यूटेशनल संसाधनों का उपयोग करना चाहिए, जो इसके पर्यावरणीय प्रभाव को सीमित कर देगा।

सत्र के दौरान, ऑल्टमैन ने संकेत दिया कि, आम धारणा के विपरीत, GPT-4 सबसे बड़ा भाषा मॉडल नहीं होगा. मॉडल निस्संदेह तंत्रिका नेटवर्क की पिछली पीढ़ियों की तुलना में बड़ा होगा, लेकिन आकार इसकी पहचान नहीं होगी।

सबसे पहले, कंपनियों ने महसूस किया है कि प्रदर्शन में सुधार के लिए एक संकेतक के रूप में मॉडल आकार का उपयोग करना एकमात्र या सबसे अच्छा तरीका नहीं है। 2020 में, ओपनएआई में जेरेड कपलान और उनके सहयोगियों ने कथित तौर पर निष्कर्ष निकाला कि प्रदर्शन में सबसे अधिक सुधार होता है जब गणना बजट में वृद्धि मुख्य रूप से एक शक्ति-कानून संबंध के बाद मापदंडों की संख्या बढ़ाने के लिए आवंटित की जाती है। Google, Nvidia, Microsoft, OpenAI, DeepMind, और भाषा मॉडल विकसित करने वाली अन्य कंपनियों ने इन दिशानिर्देशों को अंकित मूल्य पर लिया है।

लेकिन एमटी-एनएलजी (मेगाट्रॉन-ट्यूरिंग एनएलजी, एनवीडिया और माइक्रोसॉफ्ट द्वारा पिछले साल 530 बिलियन मापदंडों के साथ बनाया गया एक तंत्रिका नेटवर्क), जैसा कि यह है, प्रदर्शन के मामले में सबसे अच्छा नहीं है। वास्तव में, इसे किसी भी बेंचमार्क श्रेणी में सर्वश्रेष्ठ दर्जा नहीं दिया गया है। गोफर या चिनचिला (70 बिलियन पैरामीटर) जैसे छोटे मॉडल, उनके आकार का केवल एक अंश, सभी कार्यों में एमटी-एनएलजी से काफी बेहतर होंगे। इस प्रकार, यह स्पष्ट हो गया कि मॉडल का आकार ही एकमात्र ऐसा कारक नहीं है जो भाषा की बेहतर समझ की ओर ले जाता है।

ऑल्टमैन के अनुसार, भाषा मॉडल एक महत्वपूर्ण सीमा से ग्रस्त हैं। जब अनुकूलन की बात आती है। प्रशिक्षण इतना महंगा होगा कि कंपनियों को सटीकता और लागत के बीच समझौता करना होगा। इसके परिणामस्वरूप अक्सर मॉडल खराब रूप से अनुकूलित होते हैं।

सीईओ ने बताया कि जीपीटी -3 को केवल एक बार प्रशिक्षित किया गया था, कुछ त्रुटियों के बावजूद कि अन्य मामलों में फिर से प्रशिक्षण हो सकता था। इस वजह से, OpenAI ने कथित तौर पर इसके खिलाफ फैसला किया क्योंकि वहन करने योग्य लागत नहीं थी, जिसने शोधकर्ताओं को मॉडल के लिए हाइपरपैरामीटर का सबसे अच्छा सेट खोजने से रोका।

उच्च प्रशिक्षण लागत का एक और परिणाम यह है कि मॉडल व्यवहार का विश्लेषण प्रतिबंधित होगा। एक रिपोर्ट के अनुसार, जब एआई शोधकर्ताओं ने निष्कर्ष निकाला कि प्रदर्शन में सुधार के लिए मॉडल का आकार सबसे अधिक प्रासंगिक चर है, तो उन्होंने प्रशिक्षण टोकन की संख्या, यानी मॉडल को प्रदान किए गए डेटा की मात्रा पर विचार नहीं किया। इसके लिए असाधारण मात्रा में कंप्यूटिंग संसाधनों की आवश्यकता होगी। टेक कंपनियों ने कथित तौर पर शोधकर्ताओं के निष्कर्षों का पालन किया क्योंकि यह उनके पास सबसे अच्छा था।

ऑल्टमैन ने कहा कि GPT-4 अपने पूर्ववर्ती की तुलना में कई अधिक गणनाओं का उपयोग करेगा. OpenAI से GPT-4 में अनुकूलन से संबंधित विचारों को लागू करने की उम्मीद है, हालांकि किस हद तक इसका अनुमान नहीं लगाया जा सकता है क्योंकि इसका बजट अज्ञात है।

हालांकि, के बयान ऑल्टमैन ने दिखाया कि ओपनएआई को मॉडल आकार के अलावा अन्य चर के अनुकूलन पर ध्यान देना चाहिए।. हाइपरपैरामीटर का सबसे अच्छा सेट, इष्टतम मॉडल आकार और मापदंडों की संख्या खोजने से सभी बेंचमार्क में अविश्वसनीय सुधार हो सकते हैं।

विश्लेषकों के अनुसार, अगर इन दृष्टिकोणों को एक मॉडल में जोड़ दिया जाए तो भाषा मॉडल के लिए सभी भविष्यवाणियां ध्वस्त हो जाएंगी। ऑल्टमैन ने यह भी कहा कि लोगों को विश्वास नहीं होगा कि बड़े होने के बिना मॉडल कितने बेहतर हो सकते हैं। यह सुझाव दे सकता है कि स्केलिंग के प्रयास अभी समाप्त हो गए हैं।

OpenAI ने कथित तौर पर AI संरेखण समस्या को हल करने में बहुत प्रयास किए: भाषा मॉडल को मानवीय इरादों का पालन करने और मानवीय मूल्यों का पालन करने के लिए कैसे बनाया जाए?

विश्लेषकों का कहना है कि यह न केवल एक कठिन गणितीय समस्या है (हम एआई को ठीक उसी तरह से कैसे समझते हैं जो हम चाहते हैं?), बल्कि एक दार्शनिक भी है (एआई को मनुष्यों के साथ संरेखित करने का कोई सार्वभौमिक तरीका नहीं है, क्योंकि इसकी परिवर्तनशीलता एक समूह से दूसरे समूह में मानवीय मूल्य विशाल और अक्सर परस्पर विरोधी होते हैं)।

अंत में यदि आप इसके बारे में अधिक जानने में रुचि रखते हैंआप मूल पोस्ट का उल्लेख कर सकते हैं निम्नलिखित लिंक में


पहली टिप्पणी करने के लिए

अपनी टिप्पणी दर्ज करें

आपका ईमेल पता प्रकाशित नहीं किया जाएगा। आवश्यक फ़ील्ड के साथ चिह्नित कर रहे हैं *

*

*

  1. डेटा के लिए जिम्मेदार: मिगुएल elngel Gatón
  2. डेटा का उद्देश्य: नियंत्रण स्पैम, टिप्पणी प्रबंधन।
  3. वैधता: आपकी सहमति
  4. डेटा का संचार: डेटा को कानूनी बाध्यता को छोड़कर तीसरे पक्ष को संचार नहीं किया जाएगा।
  5. डेटा संग्रहण: ऑकेंटस नेटवर्क्स (EU) द्वारा होस्ट किया गया डेटाबेस
  6. अधिकार: किसी भी समय आप अपनी जानकारी को सीमित, पुनर्प्राप्त और हटा सकते हैं।