GPT-4: OpenAI இன் இயல்பான மொழி செயலாக்க AI இந்த செமஸ்டருக்குப் பிறகு வரலாம்

மே 2020 இல், ஓபன்ஏஐ, எலோன் மஸ்க் மற்றும் சாம் ஆல்ட்மேன் இணைந்து நிறுவிய AI நிறுவனம், GPT-3 ஐ வெளியிட்டது, பின்னர் இந்த தருணத்தின் சிறந்த நரம்பியல் வலையமைப்பாக வழங்கப்பட்டது. ஒரு அதிநவீன மொழி மாதிரி, GPT-3 175 பில்லியன் அளவுருக்களை உள்ளடக்கியது அதன் முன்னோடியான GPT-1,5 இன் 2 பில்லியன் அளவுருக்களுடன் ஒப்பிடும்போது.

GPT-3 NLG டூரிங் மாதிரியை வென்றது (Turing Natural Language Generation) மைக்ரோசாப்ட் நிறுவனத்தில் இருந்து 17 பில்லியன் அளவுருக்கள் கொண்டது, இது முன்னர் மிகப்பெரிய நரம்பியல் வலையமைப்பிற்கான சாதனையாக இருந்தது. மொழி மாதிரி ஆச்சரியப்பட்டு, விமர்சிக்கப்பட்டது மற்றும் ஆய்வுக்கு உட்படுத்தப்பட்டது; இது புதிய மற்றும் சுவாரஸ்யமான பயன்பாடுகளையும் கண்டறிந்துள்ளது.

இப்போது GPT-4 வெளியீடு என்று வதந்திகள் வெளியாகியுள்ளன, OpenAI மொழி மாதிரியின் அடுத்த பதிப்பு விரைவில் வரலாம்.

என்றாலும் வெளியீட்டு தேதி இன்னும் அறிவிக்கப்படவில்லை, GPT-3 இன் வாரிசுகளின் குணாதிசயங்களைப் பற்றி OpenAI சில அறிகுறிகளைக் கொடுத்துள்ளது, இதன் மூலம் GPT-4 GPT-3 ஐ விட பெரியதாக இருக்கக்கூடாது, ஆனால் அதிக கணக்கீட்டு வளங்களைப் பயன்படுத்த வேண்டும், இது அதன் சுற்றுச்சூழல் தாக்கத்தை குறைக்கும்.

அமர்வின் போது, என்று ஆல்ட்மேன் சுட்டிக்காட்டினார், பொது நம்பிக்கைக்கு மாறாக, GPT-4 மிகப்பெரிய மொழி மாதிரியாக இருக்காது. இந்த மாதிரி சந்தேகத்திற்கு இடமின்றி முந்தைய தலைமுறை நரம்பியல் நெட்வொர்க்குகளை விட பெரியதாக இருக்கும், ஆனால் அளவு அதன் அடையாளமாக இருக்காது.

முதலாவதாக, செயல்திறனை மேம்படுத்த ஒரு குறிகாட்டியாக மாதிரி அளவைப் பயன்படுத்துவது அதைச் செய்வதற்கான ஒரே அல்லது சிறந்த வழி அல்ல என்பதை நிறுவனங்கள் உணர்ந்துள்ளன. 2020 ஆம் ஆண்டில், Jared Kaplan மற்றும் அவரது ஓபன்ஏஐ சகாக்கள், பவர்-சட்ட உறவைப் பின்பற்றி, கணக்கீட்டு வரவு செலவுத் திட்டத்தில் அதிகரிப்பு முதன்மையாக அளவுருக்களின் எண்ணிக்கையை அதிகரிப்பதற்கு ஒதுக்கப்படும்போது செயல்திறன் மேம்படும் என்று முடிவு செய்ததாகக் கூறப்படுகிறது. Google, Nvidia, Microsoft, OpenAI, DeepMind மற்றும் மொழி மாதிரிகளை உருவாக்கும் பிற நிறுவனங்கள் இந்த வழிகாட்டுதல்களை முக மதிப்பில் எடுத்துள்ளன.

ஆனால் MT-NLG (Megatron-Turing NLG, 530 பில்லியன் அளவுருக்கள் கொண்ட என்விடியா மற்றும் மைக்ரோசாப்ட் கடந்த ஆண்டு உருவாக்கிய நரம்பியல் நெட்வொர்க்), செயல்திறன் வரும்போது அது சிறந்தது அல்ல. உண்மையில், எந்த அளவுகோல் வகையிலும் இது சிறந்ததாக மதிப்பிடப்படவில்லை. கோபர் அல்லது சின்சில்லா (70 பில்லியன் அளவுருக்கள்) போன்ற சிறிய மாடல்கள், அவற்றின் அளவின் ஒரு பகுதியே, அனைத்து பணிகளிலும் MT-NLG ஐ விட சிறப்பாக இருக்கும். எனவே, மொழியின் சிறந்த புரிதலுக்கு வழிவகுக்கும் ஒரே காரணி மாதிரியின் அளவு அல்ல என்பது தெளிவாகியது.

ஆல்ட்மேனின் கூற்றுப்படி, மொழி மாதிரிகள் ஒரு முக்கியமான வரம்பினால் பாதிக்கப்படுகின்றன. தேர்வுமுறைக்கு வரும்போது. பயிற்சி மிகவும் விலை உயர்ந்ததாக இருக்கும், அதனால் நிறுவனங்கள் துல்லியம் மற்றும் செலவுக்கு இடையில் சமரசம் செய்ய வேண்டும். இது பெரும்பாலும் மாதிரிகள் மோசமாக உகந்ததாக இருக்கும்.

சில பிழைகள் இருந்தபோதிலும், GPT-3 ஒரு முறை மட்டுமே பயிற்சியளிக்கப்பட்டது என்று CEO தெரிவித்தார். இதன் காரணமாக, கட்டுப்படியாகாத செலவு காரணமாக OpenAI அதற்கு எதிராக முடிவு செய்ததாக கூறப்படுகிறது, இது மாதிரிக்கான சிறந்த ஹைப்பர் பாராமீட்டர்களைக் கண்டுபிடிப்பதில் இருந்து ஆராய்ச்சியாளர்களைத் தடுத்தது.

அதிக பயிற்சி செலவுகளின் மற்றொரு விளைவு, மாதிரி நடத்தை பற்றிய பகுப்பாய்வுகள் கட்டுப்படுத்தப்படும். ஒரு அறிக்கையின்படி, செயல்திறனை மேம்படுத்துவதற்கு மாதிரி அளவு மிகவும் பொருத்தமான மாறி என்று AI ஆராய்ச்சியாளர்கள் முடிவு செய்தபோது, ​​​​அவர்கள் பயிற்சி டோக்கன்களின் எண்ணிக்கையை, அதாவது, மாதிரிகளுக்கு வழங்கப்பட்ட தரவுகளின் அளவைக் கருத்தில் கொள்ளவில்லை. இதற்கு அசாதாரணமான அளவிலான கணினி வளங்கள் தேவைப்படும். தொழில்நுட்ப நிறுவனங்கள் ஆராய்ச்சியாளர்களின் கண்டுபிடிப்புகளைப் பின்பற்றியதாகக் கூறப்படுகிறது, ஏனெனில் அது அவர்களிடம் சிறந்ததாக இருந்தது.

ஆல்ட்மான் GPT-4 அதன் முன்னோடிகளை விட பல கணக்கீடுகளை பயன்படுத்தும் என்று கூறினார். OpenAI ஆனது GPT-4 இல் மேம்படுத்தல் தொடர்பான யோசனைகளை செயல்படுத்தும் என்று எதிர்பார்க்கப்படுகிறது, இருப்பினும் அதன் வரவுசெலவுத் திட்டம் தெரியாததால் எந்த அளவிற்கு கணிக்க முடியாது.

இருப்பினும், அறிக்கைகள் மாதிரி அளவைத் தவிர வேறு மாறிகளை மேம்படுத்துவதில் OpenAI கவனம் செலுத்த வேண்டும் என்று Altman காட்டுகிறது.. உயர் அளவுகோல்களின் சிறந்த தொகுப்பு, உகந்த மாதிரி அளவு மற்றும் அளவுருக்களின் எண்ணிக்கை ஆகியவற்றைக் கண்டறிவது அனைத்து வரையறைகளிலும் நம்பமுடியாத மேம்பாடுகளுக்கு வழிவகுக்கும்.

ஆய்வாளர்களின் கூற்றுப்படி, இந்த அணுகுமுறைகள் ஒரே மாதிரியாக இணைக்கப்பட்டால், மொழி மாதிரிகளுக்கான அனைத்து கணிப்புகளும் சரிந்துவிடும். பெரியதாக இல்லாமல் எவ்வளவு சிறந்த மாதிரிகள் இருக்க முடியும் என்பதை மக்கள் நம்ப மாட்டார்கள் என்றும் ஆல்ட்மேன் கூறினார். அளவிடுதல் முயற்சிகள் இப்போதைக்கு முடிந்துவிட்டதாகக் கூறலாம்.

AI சீரமைப்புச் சிக்கலைத் தீர்ப்பதில் OpenAI அதிக முயற்சி எடுத்ததாகக் கூறப்படுகிறது: மொழி மாதிரிகளை மனித நோக்கங்களைப் பின்பற்றி மனித விழுமியங்களைப் பின்பற்றுவது எப்படி?

ஆய்வாளர்கள் இது ஒரு கடினமான கணிதப் பிரச்சனை மட்டுமல்ல (நமக்குத் தேவையானதை AI ஐ எவ்வாறு சரியாகப் புரிந்துகொள்வது?), ஆனால் ஒரு தத்துவம் (மனித மதிப்புகளின் மாறுபாடு காரணமாக AI ஐ மனிதர்களுடன் இணைக்க உலகளாவிய வழி இல்லை. குழுவிலிருந்து குழுவிற்கு பெரியது மற்றும் அடிக்கடி முரண்படுகிறது).

இறுதியாக நீங்கள் அதைப் பற்றி மேலும் அறிய ஆர்வமாக இருந்தால்அசல் இடுகையைப் பார்க்கவும் பின்வரும் இணைப்பில்.


கருத்து தெரிவிப்பதில் முதலில் இருங்கள்

உங்கள் கருத்தை தெரிவிக்கவும்

உங்கள் மின்னஞ்சல் முகவரி வெளியிடப்பட்ட முடியாது. தேவையான புலங்கள் குறிக்கப்பட்டிருக்கும் *

*

*

  1. தரவுக்கு பொறுப்பு: மிகுவல் ஏஞ்சல் கேடன்
  2. தரவின் நோக்கம்: கட்டுப்பாட்டு ஸ்பேம், கருத்து மேலாண்மை.
  3. சட்டபூர்வமாக்கல்: உங்கள் ஒப்புதல்
  4. தரவின் தொடர்பு: சட்டபூர்வமான கடமையால் தவிர மூன்றாம் தரப்பினருக்கு தரவு தெரிவிக்கப்படாது.
  5. தரவு சேமிப்பு: ஆக்சென்டஸ் நெட்வொர்க்குகள் (EU) வழங்கிய தரவுத்தளம்
  6. உரிமைகள்: எந்த நேரத்திலும் உங்கள் தகவல்களை நீங்கள் கட்டுப்படுத்தலாம், மீட்டெடுக்கலாம் மற்றும் நீக்கலாம்.