في الوقت الحالي، بدأنا نرى زيادة في الحلول المختلفة التي يتم تقديمها فيما يتعلق بتوليد التعليمات البرمجية باستخدام الذكاء الاصطناعي (AI)، وقد مهد مجال معالجة اللغة الطبيعية (NLP) الطريق لسلسلة من أنظمة الذكاء الاصطناعي لتوليد التعليمات البرمجية في لغات برمجة مختلفة.
ومن بين هذه الحلول، يمكننا تسليط الضوء على GitHub Copilot و AlphaCode و Codex، والآن يمكننا إضافة حل جديد من باحثين في جامعة كارنيجي ميلون قدموا مؤخرًا "PolyCoder"، وهو مولد أكواد يعتمد على نموذج لغة GPT-2 من OpenAI والذي تم تدريبه على قاعدة بيانات أكواد بحجم 249 جيجابايت في 12 لغة برمجة.
حول PolyCoder
يدعي مؤلفو برنامج PolyCoder أنه قادر على كتابة لغة C بدقة أكبر من أي نموذج معروف، بما في ذلك Codex.
يعد الذكاء الاصطناعي المولد للرموز، والذي يمكنه كتابة التعليمات البرمجية المصدرية بلغات برمجة مختلفة من خلال موجه الأوامر، بتقليل تكاليف تطوير البرامج مع السماح للمطورين بالتركيز على المهام الإبداعية والأقل تكرارًا.
تم تدريب PolyCoder باستخدام بيانات من عدة مستودعات GitHub، تغطي 12 لغة برمجة شائعة: C و C# و C++ و Go و Java و JavaScript و PHP و Python و Ruby و Rust و Scala و TypeScript.
بلغ حجم مجموعة البيانات غير المُفلترة 631 جيجابايت، وتضمنت 38,9 مليون ملف. وأوضح الفريق أنهم اختاروا تدريب PolyCoder باستخدام GPT-2 نظرًا لمحدودية الميزانية. يُتاح PolyCoder كمصدر مفتوح، ويأمل الباحثون أن يُسهم في إتاحة البحث في مجال توليد أكواد الذكاء الاصطناعي للجميع، والذي كان حكرًا حتى الآن على الشركات ذات التمويل الضخم.
يعتقد الباحثون أن برنامج PolyCoder يتفوق على النماذج الأخرى في توليد التعليمات البرمجية بلغة C. ومع ذلك، فقد تفوق عليه برنامج Codex باستمرار في لغات أخرى. "يتفوق PolyCoder بشكل ملحوظ على Codex وجميع النماذج الأخرى في لغة C."
"عندما ظهر Copilot على GitHub الصيف الماضي ، أصبح من الواضح أن نماذج رموز اللغة الكبيرة جدًا هذه يمكن أن تكون مفيدة جدًا في مساعدة المطورين وزيادة إنتاجيتهم. لكن لم يكن هناك نموذج قريب من هذا المقياس متاحًا للجمهور ، "أخبر الباحثون VentureBeat عبر البريد الإلكتروني. "لذا بدأ [PolyCoder] بمحاولة فينسنت اكتشاف ما هو أكبر نموذج يمكن تدريبه على خادم المختبر الخاص بنا ، والذي انتهى به الأمر إلى 2700 مليار معلمة ... وكان هذا النموذج متقدمًا على النماذج الأخرى الموجهة نحو الكود التي كانت لدينا . كانت متاحة للجمهور في ذلك الوقت. "
وأشار الباحثون إلى أنه " عند مقارنة نماذج المصادر المفتوحة فقط، يتفوق PolyCoder على نموذج GPT-Neo 2.7B ذي الحجم المماثل في لغات C وJavaScript وRust وScala وTypeScript" . وأضافوا: "في اللغات الإحدى عشرة الأخرى، تُعد جميع نماذج المصادر المفتوحة الأخرى، بما في ذلك نموذجنا، أسوأ بكثير (أكثر تعقيدًا) من Codex".
مع هذا ، يتم وضع PolyCoder كحل مثير للاهتمام للغاية ، لأنه بينما طورت مختبرات الأبحاث مثل OpenAI من Elon Musk و Alphabet's DeepMind ذكاءً اصطناعيًا قويًا لتوليد الكود ، فإن العديد من الأنظمة الأكثر نجاحًا غير متوفرة في المصادر المفتوحة. لا تستطيع الشركات منخفضة الدخل الوصول إليه وهذا الوضع يحد من أبحاثهم في هذا المجال.
على سبيل المثال ، لم يتم الإعلان عن بيانات التدريب من OpenAI Codex ، التي تدعم ميزة Copilot الخاصة بـ GitHub ، مما يمنع الباحثين من تحسين نموذج الذكاء الاصطناعي أو دراسة جوانب معينة منه ، مثل إمكانية التشغيل البيني.
قال الباحثون: "لا تنشر شركات التكنولوجيا الكبرى نماذجها علنًا ، وهو ما يعيق بالفعل البحث العلمي وإضفاء الطابع الديمقراطي على نماذج رموز اللغة الكبيرة هذه". إلى حد ما ، نأمل أن تقنع جهودنا مفتوحة المصدر الآخرين بفعل الشيء نفسه. لكن الصورة الكبيرة هي أن المجتمع يجب أن يكون قادرًا على تدريب هذه النماذج بأنفسهم. دفع نموذجنا الحد الأقصى لما يمكنك تدريبه على خادم واحد - أي شيء أكبر يتطلب مجموعة من الخوادم ، مما يزيد التكلفة بشكل كبير ".
وأخيرًا، إذا كنت مهتمًا بمعرفة المزيد عن هذا الموضوع ، يمكنك العثور على التفاصيل في الرابط التالي.