В даний час, Ми почали спостерігати збільшення різні рішення, які вони починають пропонувати щодо генерування коду за допомогою штучного інтелекту (AI), і це те, що область обробки природної мови (NLP) проклала шлях для серії AI, що генерують код, на різних мовах програмування.
З яких ми можемо виділити, наприклад, GitHub Copilot, AlphaCode і Codex і до якого ми тепер можемо додати нове рішення з рук дослідники з Університету Карнегі-Меллона хто нещодавно представлений "PolyCoder", генератор коду, заснований на мовній моделі OpenAI GPT-2, який навчався на базі даних коду на 249 ГБ на 12 мовах програмування.
Про PolyCoder
Автори PolyCoder стверджують, що так здатний писати C точніше, ніж будь-яка відома модель, включаючи Codex.
Код, що генерує ШІ, може писати вихідний код різними мовами програмування З самого початку він обіцяє знизити витрати на розробку програмного забезпечення, дозволяючи розробникам зосередитися на менш повторюваних творчих завданнях.
PolyCoder працював на основі даних із різних репозиторіїв GitHub, що охоплюють 12 популярних мов програмування: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala і TypeScript.
Загальний набір нефільтрованих даних становив 631 ГБ даних і 38,9 мільйонів файлів. Це сказала команда вирішив навчати PolyCoder із GPT-2 через бюджетні обмеження. PolyCoder доступний з відкритим вихідним кодом, і дослідники сподіваються, що він зможе демократизувати дослідження в області генерації коду AI, в якому досі домінували добре фінансовані компанії.
Дослідники вважають, що PolyCoder він працює краще за інші моделі при генерації коду мовою C. Однак Codex завжди перевершував його в інших мовах. «PolyCoder значно перевершує Codex та всі інші моделі на мові C.
«Коли Copilot вийшов на GitHub минулого літа, стало зрозуміло, що ці дуже великі моделі мовного коду можуть бути дуже корисними для допомоги розробникам та підвищення їхньої продуктивності. Але жодна модель навіть близького до такого масштабу не була загальнодоступною», – повідомили дослідники VentureBeat електронною поштою. «Отже [PolyCoder] почав з того, що Вінсент намагався з’ясувати, яка найбільша модель, яку можна було б навчати на нашому лабораторному сервері, яка в кінцевому підсумку склала 2700 мільярда параметрів… і ця модель була на лігу попереду інших моделей, орієнтованих на код, які ми мали на той час були загальнодоступними».
Якщо порівнювати лише моделі з відкритим кодом, PolyCoder перевершує модель GPT-Neo 2.7B такого ж розміру в C, JavaScript, Rust, Scala і TypeScript». вони вказують «В інших 11 мовах усі інші моделі з відкритим кодом, включаючи нашу власну, значно гірші (більше здивування), ніж Codex», — додають дослідники CMU.
Завдяки цьому PolyCoder позиціонується як дуже цікаве рішення, оскільки дослідницькі лабораторії, такі як OpenAI Ілона Маска та DeepMind від Alphabet, розробили потужний AI, що генерує код, багато з найуспішніших систем недоступні у відкритому коді. Компанії з низьким рівнем доходу не мають доступу до нього, і ця ситуація обмежує їх дослідження в галузі.
Наприклад, навчальні дані з OpenAI Codex, який забезпечує функцію Copilot GitHub, не були оприлюднені, що заважає дослідникам удосконалювати модель AI або вивчати певні її аспекти, наприклад, сумісність.
«Великі технологічні компанії не публікують публічно свої моделі, що насправді стримує наукові дослідження та демократизацію таких великих моделей мовного коду», – зазначили дослідники. «У певній мірі ми сподіваємося, що наші зусилля з відкритим кодом переконають інших зробити те ж саме. Але велика картина полягає в тому, що спільнота повинна мати можливість самостійно навчати ці моделі. Наша модель розширила межі того, що ви можете тренувати на одному сервері – для будь-якого більшого потрібен пул серверів, що різко збільшує вартість».
В кінці кінців якщо вам цікаво дізнатись більше про це, ви можете перевірити деталі в наступне посилання.