في مايو 2020 ، قامت شركة OpenAI ، شركة الذكاء الاصطناعي التي شارك في تأسيسها Elon Musk و Sam Altman ، بنشر GPT-3 ، ثم قدمت على أنها الشبكة العصبية العظيمة في الوقت الحالي. نموذج لغوي حديث ، تتضمن GPT-3 175 مليار معلمة مقارنة بـ 1,5 مليار معلمة لسلفها GPT-2.
GPT-3 تغلب على نموذج NLG Turing (Turing Natural Language Generation) من Microsoft مع 17 مليار معلمة كانت في السابق تحمل الرقم القياسي لأكبر شبكة عصبية. لقد أُعجب النموذج اللغوي ، وانتُقد ، بل وخضع للتدقيق ؛ كما وجد تطبيقات جديدة ومثيرة للاهتمام.
نعم ahora انتشرت شائعات تفيد بأن إصدار GPT-4، الإصدار التالي من نموذج لغة OpenAI ، قد يتم طرحه قريبًا.
رغم أن لم يتم الإعلان عن موعد إطلاق سراحه بعد ، أعطى OpenAI بعض المؤشرات حول خصائص خليفة GPT-3 ، والتي قد يتوقعها الكثيرون ، أن GPT-4 يجب ألا يكون أكبر من GPT-3 ، ولكن يجب أن يستخدم المزيد من الموارد الحسابية ، مما سيحد من تأثيره البيئي.
خلال الجلسة ، ألمح ألتمان إلى ذلك، خلافا للاعتقاد الشائع، لن يكون GPT-4 هو نموذج اللغة الأكبر. سيكون النموذج بلا شك أكبر من الأجيال السابقة من الشبكات العصبية ، لكن الحجم لن يكون السمة المميزة له.
أولاً ، أدركت الشركات أن استخدام حجم النموذج كمؤشر لتحسين الأداء ليس الطريقة الوحيدة أو الأفضل للقيام بذلك. في عام 2020 ، ورد أن Jared Kaplan وزملاؤه في OpenAI خلصوا إلى أن الأداء يتحسن أكثر عندما يتم تخصيص الزيادات في ميزانية الحساب بشكل أساسي لزيادة عدد المعلمات ، بعد علاقة قانون السلطة. لقد اتخذت Google و Nvidia و Microsoft و OpenAI و DeepMind وغيرها من الشركات التي تطور نماذج لغوية هذه الإرشادات في ظاهرها.
لكن MT-NLG (Megatron-Turing NLG ، وهي شبكة عصبية أنشأتها Nvidia و Microsoft العام الماضي مع 530 مليار معلمة) ، على الرغم من كونها رائعة ، ليست الأفضل عندما يتعلق الأمر بالأداء. في الواقع ، لم يتم تصنيفها على أنها الأفضل في أي فئة مرجعية. النماذج الأصغر مثل Gopher أو Chinchilla (70 مليار معلمة) ، مجرد جزء صغير من حجمها ، ستكون أفضل بكثير من MT-NLG في جميع المهام. وهكذا ، أصبح من الواضح أن حجم النموذج ليس هو العامل الوحيد الذي يؤدي إلى فهم أفضل للغة.
وفقًا لألتمان ، تعاني النماذج اللغوية من قيود خطيرة. عندما يتعلق الأمر بالتحسين. سيكون التدريب مكلفًا للغاية بحيث يتعين على الشركات التنازل عن الدقة والتكلفة. يؤدي هذا غالبًا إلى ضعف تحسين النماذج.
ذكر المدير التنفيذي أن GPT-3 تم تدريبه مرة واحدة فقط ، على الرغم من بعض الأخطاء التي كانت ستؤدي في حالات أخرى إلى إعادة التدريب. وبسبب هذا ، ورد أن شركة OpenAI قررت رفضها بسبب التكلفة الباهظة ، مما منع الباحثين من العثور على أفضل مجموعة من المعلمات الفائقة للنموذج.
من النتائج الأخرى لارتفاع تكاليف التدريب أن تحليلات سلوك النموذج ستكون مقيدة. وفقًا لأحد التقارير ، عندما خلص باحثو الذكاء الاصطناعي إلى أن حجم النموذج كان المتغير الأكثر صلة لتحسين الأداء ، لم يأخذوا في الاعتبار عدد الرموز المميزة للتدريب ، أي كمية البيانات المقدمة للنماذج. كان هذا يتطلب كميات غير عادية من موارد الحوسبة. وبحسب ما ورد اتبعت شركات التكنولوجيا نتائج الباحثين لأنها كانت أفضل ما لديهم.
التمان قال إن GPT-4 سيستخدم العديد من العمليات الحسابية أكثر من سابقتها. من المتوقع أن تنفذ OpenAI الأفكار المتعلقة بالتحسين في GPT-4 ، على الرغم من أنه لا يمكن التنبؤ إلى أي مدى لأن ميزانيتها غير معروفة.
ومع ذلك ، فإن بيانات أظهر ألتمان أن OpenAI يجب أن تركز على تحسين المتغيرات بخلاف حجم النموذج.. يمكن أن يؤدي العثور على أفضل مجموعة من المعلمات الفائقة وحجم النموذج الأمثل وعدد المعلمات إلى تحسينات مذهلة في جميع المعايير.
وفقًا للمحللين ، ستنهار جميع التنبؤات الخاصة بنماذج اللغة إذا تم دمج هذه الأساليب في نموذج واحد. قال ألتمان أيضًا أن الناس لن يصدقوا كم يمكن أن تكون النماذج أفضل دون أن تكون بالضرورة أكبر. قد يشير ذلك إلى أن جهود التوسع قد انتهت في الوقت الحالي.
أفادت التقارير أن شركة OpenAI بذلت الكثير من الجهد في حل مشكلة محاذاة الذكاء الاصطناعي: كيف تجعل نماذج اللغة تتبع النوايا البشرية وتلتزم بالقيم الإنسانية؟
يقول المحللون إن هذه ليست فقط مشكلة رياضية صعبة (كيف نجعل الذكاء الاصطناعي يفهم بالضبط ما نريده؟) ، ولكنه أيضًا مشكلة فلسفية (لا توجد طريقة عالمية لمواءمة الذكاء الاصطناعي مع البشر ، نظرًا لتباين القيم الإنسانية من مجموعة إلى أخرى ضخمة ومتضاربة في كثير من الأحيان).
أخيرا إذا كنت مهتمًا بمعرفة المزيد عنهايمكنك الرجوع إلى المنشور الأصلي في الرابط التالي.