في مايو 2020، أطلقت شركة OpenAI، المتخصصة في الذكاء الاصطناعي والتي شارك في تأسيسها إيلون ماسك وسام ألتمان، نموذج GPT-3، الذي رُوِّج له آنذاك باعتباره الشبكة العصبية الرائدة. يُعد GPT-3 نموذجًا لغويًا متطورًا، إذ يحتوي على 175 مليار مُعامل مقارنةً بـ 1,5 مليار مُعامل في سابقه، GPT-2.
تفوّق نموذج GPT-3 على نموذج تورينج (Turing Natural Language Generation) من مايكروسوفت، الذي كان يضم 17 مليار مُعامل، وكان يحمل سابقًا الرقم القياسي لأكبر شبكة عصبية. وقد حظي هذا النموذج اللغوي بالإعجاب والنقد، بل وحتى بالتدقيق؛ كما وجد تطبيقات جديدة ومثيرة للاهتمام.
والآن ظهرت شائعات تفيد بأن إصدار GPT-4 ، وهو الإصدار التالي من نموذج اللغة الخاص بشركة OpenAI، قد يكون قريباً.
على الرغم من عدم الإعلان عن تاريخ الإصدار حتى الآن، فقد قدمت OpenAI بعض المؤشرات حول خصائص خليفة GPT-3، والتي قد يتوقع الكثيرون منها أن GPT-4 لن يكون أكبر من GPT-3، ولكنه سيستخدم المزيد من الموارد الحاسوبية، وبالتالي الحد من تأثيره البيئي.
خلال الجلسة، ألمح ألتمان إلى أنه ، خلافًا للاعتقاد السائد، لن يكون GPT-4 أكبر نموذج لغوي . فبينما سيكون النموذج أكبر بالتأكيد من الأجيال السابقة من الشبكات العصبية، لن يكون الحجم سمته المميزة.
أولاً ، أدركت الشركات أن استخدام حجم النموذج كمؤشر لتحسين الأداء ليس الطريقة الوحيدة أو الأفضل للقيام بذلك. في عام 2020 ، ورد أن Jared Kaplan وزملاؤه في OpenAI خلصوا إلى أن الأداء يتحسن أكثر عندما يتم تخصيص الزيادات في ميزانية الحساب بشكل أساسي لزيادة عدد المعلمات ، بعد علاقة قانون السلطة. لقد اتخذت Google و Nvidia و Microsoft و OpenAI و DeepMind وغيرها من الشركات التي تطور نماذج لغوية هذه الإرشادات في ظاهرها.
لكن MT-NLG (Megatron-Turing NLG ، وهي شبكة عصبية أنشأتها Nvidia و Microsoft العام الماضي مع 530 مليار معلمة) ، على الرغم من كونها رائعة ، ليست الأفضل عندما يتعلق الأمر بالأداء. في الواقع ، لم يتم تصنيفها على أنها الأفضل في أي فئة مرجعية. النماذج الأصغر مثل Gopher أو Chinchilla (70 مليار معلمة) ، مجرد جزء صغير من حجمها ، ستكون أفضل بكثير من MT-NLG في جميع المهام. وهكذا ، أصبح من الواضح أن حجم النموذج ليس هو العامل الوحيد الذي يؤدي إلى فهم أفضل للغة.
بحسب ألتمان، تعاني نماذج اللغة من قصورٍ جوهريٍّ فيما يتعلق بالتحسين. فتكلفة التدريب باهظةٌ للغاية، ما يُجبر الشركات على التنازل بين الدقة والتكلفة. وهذا غالبًا ما يُؤدي إلى نماذج غير مُحسَّنة بشكلٍ كبير.
ذكر المدير التنفيذي أن GPT-3 تم تدريبه مرة واحدة فقط ، على الرغم من بعض الأخطاء التي كانت ستؤدي في حالات أخرى إلى إعادة التدريب. وبسبب هذا ، ورد أن شركة OpenAI قررت رفضها بسبب التكلفة الباهظة ، مما منع الباحثين من العثور على أفضل مجموعة من المعلمات الفائقة للنموذج.
من النتائج الأخرى لارتفاع تكاليف التدريب أن تحليلات سلوك النموذج ستكون مقيدة. وفقًا لأحد التقارير ، عندما خلص باحثو الذكاء الاصطناعي إلى أن حجم النموذج كان المتغير الأكثر صلة لتحسين الأداء ، لم يأخذوا في الاعتبار عدد الرموز المميزة للتدريب ، أي كمية البيانات المقدمة للنماذج. كان هذا يتطلب كميات غير عادية من موارد الحوسبة. وبحسب ما ورد اتبعت شركات التكنولوجيا نتائج الباحثين لأنها كانت أفضل ما لديهم.
قال ألتمان إن GPT-4 سيستخدم عمليات حسابية أكثر بكثير من سابقه . ومن المتوقع أن تُطبّق OpenAI أفكارًا متعلقة بالتحسين في GPT-4، على الرغم من أن مدى هذا التطبيق غير مؤكد بسبب ميزانيتها.
مع ذلك، تُظهر تصريحات ألتمان أن على OpenAI التركيز على تحسين متغيرات أخرى غير حجم النموذج . فإيجاد أفضل مجموعة من المعلمات الفائقة، وحجم النموذج الأمثل، وعدد المعلمات، قد يُؤدي إلى تحسينات هائلة في جميع معايير الأداء.
وفقًا للمحللين ، ستنهار جميع التنبؤات الخاصة بنماذج اللغة إذا تم دمج هذه الأساليب في نموذج واحد. قال ألتمان أيضًا أن الناس لن يصدقوا كم يمكن أن تكون النماذج أفضل دون أن تكون بالضرورة أكبر. قد يشير ذلك إلى أن جهود التوسع قد انتهت في الوقت الحالي.
أفادت التقارير أن شركة OpenAI بذلت الكثير من الجهد في حل مشكلة محاذاة الذكاء الاصطناعي: كيف تجعل نماذج اللغة تتبع النوايا البشرية وتلتزم بالقيم الإنسانية؟
يقول المحللون إن هذه ليست فقط مشكلة رياضية صعبة (كيف نجعل الذكاء الاصطناعي يفهم بالضبط ما نريده؟) ، ولكنه أيضًا مشكلة فلسفية (لا توجد طريقة عالمية لمواءمة الذكاء الاصطناعي مع البشر ، نظرًا لتباين القيم الإنسانية من مجموعة إلى أخرى ضخمة ومتضاربة في كثير من الأحيان).
وأخيرًا، إذا كنت مهتمًا بمعرفة المزيد عن هذا الموضوع ، يمكنك الاطلاع على المنشور الأصلي عبر الرابط التالي.