Actualment, hem començat a veure un increment en les diferents solucions que estan començant a oferir en relació amb la generació de codi mitjançant intel·ligència artificial (AI) i és que el camp del processament del llenguatge natural (NLP) ha aplanat el camí per a una sèrie d'IA generadores de codi en diversos llenguatges de programació.
Dels quals podem destacar per exemple GitHub Copilot, AlphaCode i Codex ia les quals ara podrem sumar una nova solució de la mà dels investigadors de la Universitat Carnegie Mellon qui van presentar recentment a «PolyCoder», un generador de codi basat en el model de llenguatge GPT-2 d'OpenAI que es va entrenar a una base de dades de codi de 249 GB en 12 llenguatges de programació.
Sobre PolyCoder
Els autors de PolyCoder afirmen que és capaç d'escriure C amb més precisió que qualsevol model conegut, inclòs Codex.
La IA generadora de codi, pot escriure codi font en diferents llenguatges de programació des d'un avís, promet reduir els costos de desenvolupament de programari alhora que permet als desenvolupadors concentrar-se en tasques creatives i menys repetitives.
PolyCoder es va capacitar amb dades de diversos repositoris de GitHub, que abasten 12 llenguatges de programació populars: C, C#, C++, Go, Java, Javascript, PHP, Python, Ruby, Rust, Scala i TypeScript.
El conjunt de dades sense filtrar va totalitzar 631 GB de dades i 38,9 milions de fitxers. L'equip va dir que va triar entrenar PolyCoder amb GPT-2 a causa de restriccions pressupostàries. PolyCoder està disponible com a codi obert i els investigadors esperen que pugui democratitzar la investigació en el camp de la generació de codi d'IA, que fins ara ha estat dominat per empreses ben finançades.
Els investigadors creuen que PolyCoder funciona millor que altres models en la generació de codi al llenguatge C. Tot i això, Codex sempre ho ha superat en altres llenguatges. «PolyCoder supera notablement Codex i tots els altres models en el llenguatge C.
“Quan va sortir Copilot de GitHub l'estiu passat, va quedar clar que aquests models de codi de llenguatge molt grans poden ser molt útils per ajudar els desenvolupadors i augmentar-ne la productivitat. Però cap model ni tan sols proper a aquesta escala estava disponible públicament”, van dir els investigadors a VentureBeat per correu electrònic. “Així que [PolyCoder] va començar amb Vincent tractant de veure quin era el model més gran que podia entrenar-se al nostre servidor de laboratori, que va acabar sent 2700 milions de paràmetres… i aquest model estava una lliga per davant d'altres models orientats al codi que eren públicament disponible en aquell moment.”
En comparar només els models de codi obert, PolyCoder supera el model GPT-Neo 2.7B de mida similar a C, JavaScript, Rust, Scala i TypeScript», assenyalen. «En els altres 11 idiomes, tots els altres models de codi obert, inclòs el nostre, són significativament pitjors (més perplexitat) que Codex», van afegir els investigadors de CMU.
És amb això que PolyCoder es posiciona com una solució força interessant, ja que mentre laboratoris de recerca com OpenAI d'Elon Musk i DeepMind d'Alphabet han desenvolupat poderoses IA generadores de codi, molts dels sistemes més reeixits no estan disponibles en codi obert. Les empreses de baixos recursos no hi tenen accés i aquesta situació limita la seva recerca en camp.
Per exemple, dades d'entrenament del Codex d'OpenAI, que impulsa la funció Copilot de GitHub, no s'han fet públiques, cosa que impedeix als investigadors refinar el model d'IA o estudiar-ne certs aspectes, com la interoperabilitat.
“Les grans empreses de tecnologia no estan llançant públicament els seus models, cosa que realment està frenant la investigació científica i la democratització de models de codi de llenguatge tan grans”, van dir els investigadors. “Fins a cert punt, esperem que els nostres esforços de codi obert convencin altres a fer el mateix. Però el panorama general és que la comunitat hauria de poder entrenar aquests models per ella mateixa. El nostre model va superar el límit del que pot entrenar-se en un sol servidor: qualsevol cosa més gran requereix un grup de servidors, cosa que augmenta dràsticament el cost”.
Finalment si estàs interessat en poder conèixer més a l'respecte, Pots consultar els detalls al següent enllaç.