২০২০ সালের মে মাসে, ইলন মাস্ক এবং স্যাম অল্টম্যানের সহ-প্রতিষ্ঠিত এআই কোম্পানি ওপেনএআই, জিপিটি-৩ প্রকাশ করে, যা সেই সময়ে শীর্ষস্থানীয় নিউরাল নেটওয়ার্ক হিসেবে প্রশংসিত হয়েছিল। একটি অত্যাধুনিক ল্যাঙ্গুয়েজ মডেল হিসেবে, জিপিটি-৩-তে ১৭৫ বিলিয়ন প্যারামিটার রয়েছে, যেখানে এর পূর্বসূরি জিপিটি-২-তে ছিল মাত্র ১.৫ বিলিয়ন প্যারামিটার।
GPT-3 মাইক্রোসফটের NLG টিউরিং (টিউরিং ন্যাচারাল ল্যাঙ্গুয়েজ জেনারেশন) মডেলকে ছাড়িয়ে গেছে, যেটিতে ১৭ বিলিয়ন প্যারামিটার ছিল এবং যা পূর্বে বৃহত্তম নিউরাল নেটওয়ার্কের রেকর্ডটি ধরে রেখেছিল। এই ল্যাঙ্গুয়েজ মডেলটি প্রশংসিত, সমালোচিত এবং এমনকি পুঙ্খানুপুঙ্খ পর্যালোচনারও সম্মুখীন হয়েছে; এর নতুন ও আকর্ষণীয় প্রয়োগও খুঁজে পাওয়া গেছে।
আর এখন এমন গুজব ছড়িয়ে পড়েছে যে ওপেনএআই-এর ল্যাঙ্গুয়েজ মডেলের পরবর্তী সংস্করণ, জিপিটি-৪ (GPT-4), শীঘ্রই প্রকাশিত হতে পারে।
যদিও এখনও প্রকাশের তারিখ ঘোষণা করা হয়নি, ওপেনএআই GPT-3-এর উত্তরসূরির বৈশিষ্ট্য সম্পর্কে কিছু ইঙ্গিত দিয়েছে, যা থেকে অনেকেই আশা করতে পারেন যে GPT-4 আকারে GPT-3-এর চেয়ে বড় হবে না, কিন্তু এটি আরও বেশি কম্পিউটেশনাল রিসোর্স ব্যবহার করবে, যার ফলে এর পরিবেশগত প্রভাব সীমিত থাকবে।
অধিবেশন চলাকালীন অল্টম্যান ইঙ্গিত দেন যে , প্রচলিত ধারণার বিপরীতে, GPT-4 সবচেয়ে বড় ল্যাঙ্গুয়েজ মডেল হবে না । যদিও মডেলটি পূর্ববর্তী প্রজন্মের নিউরাল নেটওয়ার্কগুলোর চেয়ে অবশ্যই বড় হবে, তবে আকারই এর প্রধান বৈশিষ্ট্য হবে না।
প্রথমত, কোম্পানিগুলি বুঝতে পেরেছে যে পারফরম্যান্স উন্নত করার জন্য একটি সূচক হিসাবে মডেলের আকার ব্যবহার করা একমাত্র বা সর্বোত্তম উপায় নয়। 2020 সালে, জ্যারেড কাপলান এবং তার ওপেনএআই সহকর্মীরা এই সিদ্ধান্তে পৌঁছেছেন যে ক্ষমতা-আইন সম্পর্ক অনুসরণ করে, গণনা বাজেটের বৃদ্ধি প্রাথমিকভাবে প্যারামিটারের সংখ্যা বাড়ানোর জন্য বরাদ্দ করা হলে কর্মক্ষমতা সবচেয়ে বেশি উন্নত হয়। গুগল, এনভিডিয়া, মাইক্রোসফ্ট, ওপেনএআই, ডিপমাইন্ড এবং অন্যান্য কোম্পানি যারা ভাষার মডেল তৈরি করে তারা এই নির্দেশিকাগুলিকে অভিহিত মূল্যে গ্রহণ করেছে।
কিন্তু এমটি-এনএলজি (মেগাট্রন-টুরিং এনএলজি, এনভিডিয়া এবং মাইক্রোসফ্ট দ্বারা গত বছর 530 বিলিয়ন প্যারামিটার সহ একটি নিউরাল নেটওয়ার্ক তৈরি করা হয়েছে), এটি যেমন দুর্দান্ত, পারফরম্যান্সের ক্ষেত্রে এটি সেরা নয়। প্রকৃতপক্ষে, এটি কোনো বেঞ্চমার্ক বিভাগে সেরা রেট দেওয়া হয়নি। গোফার বা চিনচিলা (70 বিলিয়ন প্যারামিটার) এর মতো ছোট মডেলগুলি, তাদের আকারের একটি ভগ্নাংশ, সমস্ত কাজে MT-NLG-এর থেকে অনেক ভাল হবে৷ সুতরাং, এটি স্পষ্ট হয়ে উঠেছে যে মডেলের আকারই একমাত্র কারণ নয় যা ভাষার আরও ভাল বোঝার দিকে পরিচালিত করে।
অল্টম্যানের মতে, অপটিমাইজেশনের ক্ষেত্রে ল্যাঙ্গুয়েজ মডেলগুলো একটি গুরুতর সীমাবদ্ধতার সম্মুখীন হয়। প্রশিক্ষণ এতটাই ব্যয়বহুল হবে যে কোম্পানিগুলোকে নির্ভুলতা এবং খরচের মধ্যে একটি সমঝোতায় আসতে হবে। এর ফলে প্রায়শই এমন মডেল তৈরি হয় যা মারাত্মকভাবে অপর্যাপ্তভাবে অপটিমাইজ করা থাকে।
সিইও রিপোর্ট করেছেন যে GPT-3 শুধুমাত্র একবার প্রশিক্ষিত হয়েছিল, কিছু ত্রুটি থাকা সত্ত্বেও যা অন্য ক্ষেত্রে পুনরায় প্রশিক্ষণের দিকে পরিচালিত করত। এই কারণে, ওপেনএআই অসাধ্য খরচের কারণে এটির বিরুদ্ধে সিদ্ধান্ত নিয়েছে বলে জানা গেছে, যা গবেষকদের মডেলের জন্য হাইপারপ্যারামিটারের সেরা সেট খুঁজে পেতে বাধা দেয়।
উচ্চ প্রশিক্ষণ খরচের আরেকটি ফলাফল হল মডেল আচরণের বিশ্লেষণ সীমাবদ্ধ থাকবে। একটি প্রতিবেদন অনুসারে, যখন এআই গবেষকরা উপসংহারে পৌঁছেছেন যে মডেলের আকার কার্যক্ষমতা উন্নত করার জন্য সবচেয়ে প্রাসঙ্গিক পরিবর্তনশীল, তারা প্রশিক্ষণ টোকেনের সংখ্যা, অর্থাৎ মডেলগুলিতে সরবরাহ করা ডেটার পরিমাণ বিবেচনা করেনি। এর জন্য অসাধারণ পরিমাণে কম্পিউটিং সম্পদের প্রয়োজন হবে। প্রযুক্তি সংস্থাগুলি গবেষকদের ফলাফলগুলি অনুসরণ করেছে কারণ এটি তাদের সেরা ছিল৷
অল্টম্যান বলেছেন যে, GPT-4 তার পূর্বসূরীর চেয়ে উল্লেখযোগ্যভাবে বেশি গণনা ব্যবহার করবে । আশা করা হচ্ছে যে OpenAI GPT-4-এ অপ্টিমাইজেশন-সম্পর্কিত ধারণাগুলো বাস্তবায়ন করবে, যদিও এর বাজেটের কারণে এই বাস্তবায়নের পরিধি অনিশ্চিত।
তবে, অল্টম্যানের বক্তব্য থেকে বোঝা যায় যে ওপেনএআই-এর মডেলের আকার ছাড়া অন্যান্য চলক অপ্টিমাইজ করার দিকে মনোযোগ দেওয়া উচিত । হাইপারপ্যারামিটারের সেরা সেট, সর্বোত্তম মডেলের আকার এবং প্যারামিটারের সংখ্যা খুঁজে বের করতে পারলে সমস্ত বেঞ্চমার্ক জুড়ে অবিশ্বাস্য উন্নতি হতে পারে।
বিশ্লেষকদের মতে, ভাষা মডেলের জন্য সমস্ত ভবিষ্যদ্বাণী ভেঙে পড়বে যদি এই পদ্ধতিগুলিকে একক মডেলে একত্রিত করা হয়। অল্টম্যান আরও বলেছিলেন যে লোকেরা অগত্যা বড় না হয়ে কতটা ভাল মডেল হতে পারে তা বিশ্বাস করবে না। এটা হয়তো ইঙ্গিত দিচ্ছে যে আপাতত স্কেলিং প্রচেষ্টা শেষ।
ওপেনএআই এআই সারিবদ্ধকরণ সমস্যা সমাধানের জন্য অনেক প্রচেষ্টা করেছে বলে জানা গেছে: কীভাবে ভাষার মডেলগুলি মানুষের উদ্দেশ্য অনুসরণ করে এবং মানবিক মূল্যবোধ মেনে চলতে হয়?
বিশ্লেষকরা বলছেন যে এটি শুধুমাত্র একটি কঠিন গাণিতিক সমস্যা নয় (কীভাবে আমরা এআইকে ঠিক আমরা যা চাই তা বুঝতে পারি?), তবে এটি একটি দার্শনিকও (মানুষের সাথে এআইকে সারিবদ্ধ করার কোনও সর্বজনীন উপায় নেই, যেহেতু মানবিক মূল্যবোধের পরিবর্তনশীলতা। গ্রুপ থেকে গ্রুপ বিশাল এবং প্রায়ই বিরোধপূর্ণ)।
অবশেষে, আপনি যদি এই বিষয়ে আরও জানতে আগ্রহী হন , তাহলে নিম্নলিখিত লিঙ্কে মূল প্রকাশনাটি দেখতে পারেন ।