Наразі ми почали спостерігати збільшення кількості різних рішень, які починають пропонуватися щодо генерації коду за допомогою штучного інтелекту (ШІ), а галузь обробки природної мови (НЛП) проклала шлях для серії ШІ, що генерують код різними мовами програмування.
Серед них можна виділити GitHub Copilot, AlphaCode та Codex, а тепер додати нове рішення від дослідників з Університету Карнегі-Меллона, які нещодавно представили «PolyCoder» – генератор коду на основі мовної моделі OpenAI GPT-2, який був навчений на базі даних коду обсягом 249 ГБ 12 мовами програмування.
Про PolyCoder
Автори PolyCoder стверджують, що він здатний писати на C з більшою точністю, ніж будь-яка відома модель, включаючи Codex.
Штучний інтелект, що генерує код і може писати вихідний код різними мовами програмування з командного рядка, обіцяє зменшити витрати на розробку програмного забезпечення, дозволяючи розробникам зосередитися на креативних та менш повторюваних завданнях.
PolyCoder було навчено з використанням даних з кількох репозиторіїв GitHub, що охоплюють 12 популярних мов програмування: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala та TypeScript.
Нефільтрований набір даних становив 631 ГБ даних та 38,9 мільйона файлів. Команда заявила, що вирішила навчати PolyCoder за допомогою GPT-2 через бюджетні обмеження. PolyCoder доступний з відкритим вихідним кодом, і дослідники сподіваються, що він зможе демократизувати дослідження в галузі генерації коду штучного інтелекту, в якій досі домінували добре фінансовані компанії.
Дослідники вважають, що PolyCoder працює краще за інші моделі з генерацією коду мовою C. Однак Codex постійно перевершує його в інших мовах. «PolyCoder значно перевершує Codex та всі інші моделі мовою C».
«Коли Copilot вийшов на GitHub минулого літа, стало зрозуміло, що ці дуже великі моделі мовного коду можуть бути дуже корисними для допомоги розробникам та підвищення їхньої продуктивності. Але жодна модель навіть близького до такого масштабу не була загальнодоступною», – повідомили дослідники VentureBeat електронною поштою. «Отже [PolyCoder] почав з того, що Вінсент намагався з’ясувати, яка найбільша модель, яку можна було б навчати на нашому лабораторному сервері, яка в кінцевому підсумку склала 2700 мільярда параметрів… і ця модель була на лігу попереду інших моделей, орієнтованих на код, які ми мали на той час були загальнодоступними».
« Якщо порівнювати лише моделі з відкритим кодом, PolyCoder перевершує модель GPT-Neo 2.7B аналогічного розміру в C, JavaScript, Rust, Scala та TypeScript», – зазначають вони. «В інших 11 мовах усі інші моделі з відкритим кодом, включаючи нашу власну, значно гірші (більша складність), ніж Codex», – додали дослідники CMU.
Завдяки цьому PolyCoder позиціонується як дуже цікаве рішення, оскільки дослідницькі лабораторії, такі як OpenAI Ілона Маска та DeepMind від Alphabet, розробили потужний AI, що генерує код, багато з найуспішніших систем недоступні у відкритому коді. Компанії з низьким рівнем доходу не мають доступу до нього, і ця ситуація обмежує їх дослідження в галузі.
Наприклад, навчальні дані з OpenAI Codex, який забезпечує функцію Copilot GitHub, не були оприлюднені, що заважає дослідникам удосконалювати модель AI або вивчати певні її аспекти, наприклад, сумісність.
«Великі технологічні компанії не публікують публічно свої моделі, що насправді стримує наукові дослідження та демократизацію таких великих моделей мовного коду», – зазначили дослідники. «У певній мірі ми сподіваємося, що наші зусилля з відкритим кодом переконають інших зробити те ж саме. Але велика картина полягає в тому, що спільнота повинна мати можливість самостійно навчати ці моделі. Наша модель розширила межі того, що ви можете тренувати на одному сервері – для будь-якого більшого потрібен пул серверів, що різко збільшує вартість».
Зрештою, якщо ви зацікавлені дізнатися більше про це , ви можете знайти подробиці за наступним посиланням.