В момента Започнахме да наблюдаваме увеличение на различните решения, които те започват да предлагат във връзка с генериране на код с помощта на изкуствен интелект (AI) и това е, че областта на обработката на естествен език (NLP) проправи пътя за серия от генериращи код AI на различни езици за програмиране.
От които можем да подчертаем например GitHub Copilot, AlphaCode и Codex и към който сега можем да добавим ново решение от ръката на изследователи от университета Карнеги Мелън който наскоро въведен "PolyCoder", генератор на код, базиран на езиковия модел на OpenAI GPT-2, който е обучен върху 249 GB кодова база данни на 12 езика за програмиране.
Относно PolyCoder
Авторите на PolyCoder твърдят, че е така способен да пише C по-точно от всеки известен модел, включително Codex.
Кодът, генериращ AI, може да пише изходен код на различни езици за програмиране От самото начало той обещава да намали разходите за разработка на софтуер, като същевременно позволява на разработчиците да се съсредоточат върху по-малко повтарящи се, творчески задачи.
PolyCoder се захранва от данни от различни хранилища на GitHub, покриващи 12 популярни езика за програмиране: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala и TypeScript.
Нефилтрираният набор от данни възлиза на общо 631 GB данни и 38,9 милиона файла. Това каза екипът избра да обучава PolyCoder с GPT-2 поради бюджетни ограничения. PolyCoder се предлага като отворен код и изследователите се надяват, че може да демократизира изследванията в областта на генерирането на AI кодове, които досега бяха доминирани от добре финансирани компании.
Изследователите смятат, че PolyCoder той работи по-добре от други модели при генериране на код на езика C. Въпреки това Codex винаги го е надминавал в други езици. „PolyCoder драстично превъзхожда Codex и всички други модели на езика C.
„Когато Copilot излезе на GitHub миналото лято, стана ясно, че тези много големи езикови кодови модели могат да бъдат много полезни за подпомагане на разработчиците и повишаване на тяхната производителност. Но нито един модел дори близо до този мащаб не беше публично достъпен", казаха изследователите пред VentureBeat по имейл. „И така [PolyCoder] започна с Винсънт, който се опитваше да разбере кой е най-големият модел, който можеше да бъде обучен на нашия лабораторен сървър, който в крайна сметка беше 2700 милиарда параметра... и този модел беше една лига пред другите кодово-ориентирани модели, които имахме . бяха публично достъпни по това време.”
Когато сравнявате само моделите с отворен код, PolyCoder превъзхожда модела GPT-Neo 2.7B с подобен размер в C, JavaScript, Rust, Scala и TypeScript." посочват те „В останалите 11 езика всички други модели с отворен код, включително нашия собствен, са значително по-лоши (по-голямо недоумение) от Codex“, добавят изследователите от CMU.
С това PolyCoder се позиционира като много интересно решение, тъй като докато изследователски лаборатории като OpenAI на Илон Мъск и DeepMind на Alphabet са разработили мощен AI за генериране на код, много от най-успешните системи не са налични в отворен код. Компаниите с ниски доходи нямат достъп до него и тази ситуация ограничава техните изследвания в областта.
Например, данните за обучение от OpenAI Codex, който захранва функцията Copilot на GitHub, не са оповестени публично, което пречи на изследователите да усъвършенстват AI модела или да изучават определени аспекти от него, като оперативна съвместимост.
„Големите технологични компании не пускат публично своите модели, което наистина възпира научните изследвания и демократизирането на такива големи езикови кодови модели“, казаха изследователите. „До известна степен се надяваме, че нашите усилия с отворен код ще убедят другите да направят същото. Но голямата картина е, че общността трябва да може да обучава тези модели самостоятелно. Нашият модел бутна границата на това, което можете да тренирате на един сървър – всичко по-голямо изисква набор от сървъри, което драстично увеличава разходите.”
Накрая ако се интересувате да научите повече за това, можете да проверите подробностите в следваща връзка.