В настоящее время, Мы начали замечать увеличение различные решения, которые они начинают предлагать в отношении генерация кода с использованием искусственного интеллекта (ИИ), и это то, что область обработки естественного языка (NLP) проложила путь для серии ИИ, генерирующих код, на различных языках программирования.
Из которых мы можем выделить, например, GitHub Copilot, AlphaCode и Codex и к которому теперь мы можем добавить новое решение от руки исследователи из Университета Карнеги-Меллона те, кто недавно представил "PolyCoder", генератор кода, основанный на языковой модели OpenAI GPT-2, который был обучен на базе данных кода объемом 249 ГБ на 12 языках программирования.
О ПолиКодер
Авторы PolyCoder утверждают, что это способный написать C более точно, чем любая известная модель, включая Codex.
Код, генерирующий ИИ, может писать исходный код на разных языках программирования С самого начала это обещает снизить затраты на разработку программного обеспечения, позволяя разработчикам сосредоточиться на менее повторяющихся творческих задачах.
PolyCoder работал на основе данных из различных репозиториев GitHub, охватывающих 12 популярных языков программирования: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala и TypeScript.
Нефильтрованный набор данных составил 631 ГБ данных и 38,9 млн файлов. Команда сказала, что решили обучать PolyCoder с помощью GPT-2 из-за бюджетных ограничений. PolyCoder доступен с открытым исходным кодом, и исследователи надеются, что он может демократизировать исследования в области генерации кода ИИ, в которой до сих пор доминировали хорошо финансируемые компании.
Исследователи считают, что PolyCoder она работает лучше других моделей при генерации кода на языке C. Однако Кодекс всегда превосходил его на других языках. «PolyCoder значительно превосходит Codex и все другие модели на языке C.
«Когда прошлым летом Copilot появился на GitHub, стало ясно, что эти очень большие модели языкового кода могут быть очень полезными, помогая разработчикам и повышая их продуктивность. Но ни одна модель даже близкого к этому масштабу не была общедоступна», — сообщили исследователи VentureBeat по электронной почте. «Поэтому [PolyCoder] начал с того, что Винсент пытался выяснить, какая самая большая модель может быть обучена на нашем лабораторном сервере, который в итоге содержал 2700 миллиарда параметров… и эта модель была на целую лигу впереди других моделей, ориентированных на код, которые у нас были. в то время были общедоступны».
Если сравнивать только модели с открытым исходным кодом, PolyCoder превосходит модель GPT-Neo 2.7B аналогичного размера в C, JavaScript, Rust, Scala и TypeScript». они указывают «На остальных 11 языках все другие модели с открытым исходным кодом, включая нашу собственную, значительно хуже (большее недоумение), чем Codex», — добавили исследователи CMU.
При этом PolyCoder позиционируется как очень интересное решение, поскольку, хотя исследовательские лаборатории, такие как OpenAI Илона Маска и DeepMind от Alphabet, разработали мощный кодогенерирующий ИИ, многие из наиболее успешных систем недоступны в открытом исходном коде. Компании с низким доходом не имеют к нему доступа, и эта ситуация ограничивает их исследования в этой области.
Например, обучающие данные из Кодекса OpenAI, который поддерживает функцию Copilot GitHub, не были обнародованы, что не позволяет исследователям совершенствовать модель ИИ или изучать определенные ее аспекты, такие как совместимость.
«Крупные технологические компании не публикуют свои модели публично, что действительно сдерживает научные исследования и демократизацию таких больших моделей языкового кода», — заявили исследователи. «В какой-то степени мы надеемся, что наши усилия с открытым исходным кодом убедит других сделать то же самое. Но в целом сообщество должно иметь возможность обучать эти модели самостоятельно. Наша модель раздвинула границы того, что вы можете обучить на одном сервере — для большего размера требуется пул серверов, что резко увеличивает стоимость».
В конце концов если вам интересно узнать об этом больше, вы можете проверить подробности в по следующей ссылке.