PolyCoder, un cod sursă deschis care generează IA care ar putea depăși Codexul 

Autor: @Laurent - Fotolia.com

În prezent, am început să observăm o creștere a diferitelor soluții care încep să fie oferite în legătură cu generarea de cod folosind inteligența artificială (IA), iar domeniul procesării limbajului natural (NLP) a deschis calea pentru o serie de IA generatoare de cod în diverse limbaje de programare.

Printre acestea, putem evidenția GitHub Copilot, AlphaCode și Codex, iar acum putem adăuga o nouă soluție de la cercetătorii de la Universitatea Carnegie Mellon care au prezentat recent „PolyCoder”, un generator de cod bazat pe modelul de limbaj GPT-2 al OpenAI, antrenat pe o bază de date de cod de 249 GB în 12 limbaje de programare.

Despre PolyCoder

Autorii PolyCoder susțin că este capabil să scrie C cu o precizie mai mare decât orice model cunoscut, inclusiv Codex.

Inteligența artificială generatoare de cod, care poate scrie cod sursă în diferite limbaje de programare pornind de la o solicitare, promite să reducă costurile de dezvoltare software, permițând în același timp dezvoltatorilor să se concentreze pe sarcini creative și mai puțin repetitive.

PolyCoder a fost antrenat folosind date din mai multe repozitorii GitHub, acoperind 12 limbaje de programare populare: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala și TypeScript.

Setul de date nefiltrat a totalizat 631 GB de date și 38,9 milioane de fișiere. Echipa a declarat că a ales să antreneze PolyCoder cu GPT-2 din cauza constrângerilor bugetare. PolyCoder este disponibil ca open source, iar cercetătorii speră că poate democratiza cercetarea în domeniul generării de cod AI, care până acum a fost dominat de companii bine finanțate.

Cercetătorii cred că PolyCoder are performanțe mai bune decât alte modele la generarea de cod în limbajul C. Cu toate acestea, Codex l-a depășit în mod constant în alte limbaje. „PolyCoder depășește semnificativ Codex și toate celelalte modele din limbajul C.”

„Când Copilot a apărut pe GitHub vara trecută, a devenit clar că aceste modele de cod de limbă foarte mari pot fi foarte utile pentru a ajuta dezvoltatorii și pentru a le crește productivitatea. Dar niciun model nici măcar aproape de această scară nu a fost disponibil public”, au declarat cercetătorii pentru VentureBeat prin e-mail. „Așa că [PolyCoder] a început cu Vincent încercând să-și dea seama care era cel mai mare model care putea fi antrenat pe serverul nostru de laborator, care a ajuns să fie de 2700 miliarde de parametri... și acel model era cu o ligă înaintea altor modele orientate spre cod pe care le aveam. . erau disponibile public la acea vreme.”

„ Când se compară doar modelele open-source, PolyCoder depășește modelul GPT-Neo 2.7B de dimensiuni similare în C, JavaScript, Rust, Scala și TypeScript”, notează aceștia. „În celelalte 11 limbaje, toate celelalte modele open-source, inclusiv al nostru, sunt semnificativ mai slabe (cu o mai mare nedumerire) decât Codex”, au adăugat cercetătorii CMU.

Prin aceasta, PolyCoder se poziționează ca o soluție foarte interesantă, deoarece în timp ce laboratoarele de cercetare precum OpenAI de la Elon Musk și DeepMind de la Alphabet au dezvoltat AI puternic generator de coduri, multe dintre cele mai de succes sisteme nu sunt disponibile în sursă deschisă. Companiile cu venituri mici nu au acces la el și această situație le limitează cercetările în domeniu.

De exemplu, datele de antrenament din OpenAI Codex, care alimentează funcția Copilot a GitHub, nu au fost făcute publice, împiedicând cercetătorii să perfecționeze modelul AI sau să studieze anumite aspecte ale acestuia, cum ar fi interoperabilitatea.

„Marile companii de tehnologie nu își lansează public modelele, ceea ce împiedică într-adevăr cercetarea științifică și democratizarea unor astfel de modele de coduri lingvistice mari”, au spus cercetătorii. „Într-o oarecare măsură, sperăm că eforturile noastre open source îi vor convinge pe alții să facă același lucru. Dar imaginea de ansamblu este că comunitatea ar trebui să poată antrena aceste modele pe cont propriu. Modelul nostru a împins limita a ceea ce puteți antrena pe un singur server – orice lucru mai mare necesită un grup de servere, ceea ce crește dramatic costul.”

În cele din urmă, dacă sunteți interesați să aflați mai multe despre acest subiect , puteți găsi detalii la următorul link.


Adăugați ca sursă preferată în Google