В момента започваме да наблюдаваме увеличение на различните решения, които започват да се предлагат във връзка с генерирането на код с помощта на изкуствен интелект (ИИ), а областта на обработката на естествен език (НЛП) проправи пътя за серия от ИИ, генериращи код на различни езици за програмиране.
Сред тях можем да откроим GitHub Copilot, AlphaCode и Codex, а сега можем да добавим и ново решение от изследователи от университета Карнеги Мелън, които наскоро представиха „PolyCoder“ - генератор на код, базиран на езиковия модел GPT-2 на OpenAI, обучен върху база данни с код от 249 GB на 12 езика за програмиране.
Относно PolyCoder
Авторите на PolyCoder твърдят, че той е способен да пише на C с по-голяма точност от всеки известен модел, включително Codex.
Генериращият код изкуствен интелект, който може да пише изходен код на различни езици за програмиране от команден ред, обещава да намали разходите за разработка на софтуер, като същевременно позволява на разработчиците да се съсредоточат върху креативни и по-малко повтарящи се задачи.
PolyCoder беше обучен с помощта на данни от няколко хранилища на GitHub, обхващащи 12 популярни езика за програмиране: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala и TypeScript.
Нефилтрираният набор от данни е с общ обем от 631 GB данни и 38,9 милиона файла. Екипът заяви, че е избрал да обучи PolyCoder с GPT-2 поради бюджетни ограничения. PolyCoder е достъпен с отворен код и изследователите се надяват, че може да демократизира изследванията в областта на генерирането на код с изкуствен интелект, която досега е била доминирана от добре финансирани компании.
Изследователите смятат, че PolyCoder се представя по-добре от други модели при генериране на код на езика C. Codex обаче постоянно го превъзхожда в други езици. „PolyCoder значително превъзхожда Codex и всички други модели на езика C.“
„Когато Copilot излезе на GitHub миналото лято, стана ясно, че тези много големи езикови кодови модели могат да бъдат много полезни за подпомагане на разработчиците и повишаване на тяхната производителност. Но нито един модел дори близо до този мащаб не беше публично достъпен", казаха изследователите пред VentureBeat по имейл. „И така [PolyCoder] започна с Винсънт, който се опитваше да разбере кой е най-големият модел, който можеше да бъде обучен на нашия лабораторен сървър, който в крайна сметка беше 2700 милиарда параметра... и този модел беше една лига пред другите кодово-ориентирани модели, които имахме . бяха публично достъпни по това време.”
„ Когато сравняваме само модели с отворен код, PolyCoder превъзхожда модела GPT-Neo 2.7B с подобен размер в C, JavaScript, Rust, Scala и TypeScript“, отбелязват те. „В останалите 11 езика всички други модели с отворен код, включително нашият собствен, са значително по-лоши (най-голямо объркване) от Codex“, добавят изследователите от CMU.
С това PolyCoder се позиционира като много интересно решение, тъй като докато изследователски лаборатории като OpenAI на Илон Мъск и DeepMind на Alphabet са разработили мощен AI за генериране на код, много от най-успешните системи не са налични в отворен код. Компаниите с ниски доходи нямат достъп до него и тази ситуация ограничава техните изследвания в областта.
Например, данните за обучение от OpenAI Codex, който захранва функцията Copilot на GitHub, не са оповестени публично, което пречи на изследователите да усъвършенстват AI модела или да изучават определени аспекти от него, като оперативна съвместимост.
„Големите технологични компании не пускат публично своите модели, което наистина възпира научните изследвания и демократизирането на такива големи езикови кодови модели“, казаха изследователите. „До известна степен се надяваме, че нашите усилия с отворен код ще убедят другите да направят същото. Но голямата картина е, че общността трябва да може да обучава тези модели самостоятелно. Нашият модел бутна границата на това, което можете да тренирате на един сървър – всичко по-голямо изисква набор от сървъри, което драстично увеличава разходите.”
И накрая, ако се интересувате да научите повече за това , можете да намерите подробности на следния линк.