Momenteel zien we een toename in het aantal verschillende oplossingen dat wordt aangeboden met betrekking tot codegeneratie met behulp van kunstmatige intelligentie (AI), en het vakgebied van natuurlijke taalverwerking (NLP) heeft de weg vrijgemaakt voor een reeks codegenererende AI's in verschillende programmeertalen.
Onder deze oplossingen kunnen we GitHub Copilot, AlphaCode en Codex noemen, en nu kunnen we daar een nieuwe oplossing aan toevoegen van onderzoekers van Carnegie Mellon University die onlangs "PolyCoder" presenteerden, een codegenerator gebaseerd op OpenAI's GPT-2 taalmodel dat is getraind op een codedatabase van 249 GB in 12 programmeertalen.
Over PolyCoder
De makers van PolyCoder beweren dat het in staat is om C-code met grotere nauwkeurigheid te schrijven dan elk bekend model, inclusief Codex.
De codegenererende AI, die op basis van een prompt broncode in verschillende programmeertalen kan schrijven , belooft de kosten voor softwareontwikkeling te verlagen en ontwikkelaars in staat te stellen zich te concentreren op creatieve en minder repetitieve taken.
PolyCoder is getraind met behulp van data uit verschillende GitHub-repositories, die 12 populaire programmeertalen omvatten: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala en TypeScript.
De ongefilterde dataset bevatte in totaal 631 GB aan data en 38,9 miljoen bestanden. Het team gaf aan dat ze ervoor hadden gekozen om PolyCoder te trainen met GPT-2 vanwege budgetbeperkingen. PolyCoder is beschikbaar als open source en de onderzoekers hopen dat het onderzoek op het gebied van AI-codegeneratie, dat tot nu toe gedomineerd werd door goed gefinancierde bedrijven, kan democratiseren.
Onderzoekers zijn van mening dat PolyCoder beter presteert dan andere modellen bij het genereren van code in de C-taal. Codex heeft het echter consequent overtroffen in andere talen. "PolyCoder presteert aanzienlijk beter dan Codex en alle andere modellen in de C-taal."
“Toen Copilot afgelopen zomer GitHub verliet, werd duidelijk dat deze zeer grote taalcodemodellen erg nuttig kunnen zijn om ontwikkelaars te helpen en hun productiviteit te verhogen. Maar er waren geen modellen die zelfs maar in de buurt kwamen van die schaal,' vertelden de onderzoekers via e-mail aan VentureBeat. "Dus [PolyCoder] begon met Vincent die probeerde te zien wat het grootste model was dat op onze labserver kon worden getraind, wat uiteindelijk uit 2700 miljard parameters bestond... destijds."
" Bij een vergelijking van alleen open-source modellen presteert PolyCoder beter dan het qua omvang vergelijkbare GPT-Neo 2.7B model in C, JavaScript, Rust, Scala en TypeScript", merken ze op. "In de andere 11 talen zijn alle andere open-source modellen, inclusief die van ons, aanzienlijk slechter (hogere perplexiteit) dan Codex", voegen de CMU-onderzoekers eraan toe.
Hiermee wordt PolyCoder gepositioneerd als een zeer interessante oplossing, want terwijl onderzoekslaboratoria zoals Elon Musk's OpenAI en Alphabet's DeepMind krachtige codegenererende AI hebben ontwikkeld, zijn veel van de meest succesvolle systemen niet beschikbaar in open source. Bedrijven met lage inkomens hebben er geen toegang toe en deze situatie beperkt hun onderzoek in het veld.
Trainingsgegevens van de OpenAI Codex, die de Copilot-functie van GitHub aandrijft, zijn bijvoorbeeld niet openbaar gemaakt, waardoor onderzoekers het AI-model niet kunnen verfijnen of bepaalde aspecten ervan kunnen bestuderen, zoals interoperabiliteit.
"Grote technologiebedrijven geven hun modellen niet publiekelijk vrij, wat wetenschappelijk onderzoek en de democratisering van zulke grote taalcodemodellen echt belemmert", aldus de onderzoekers. “Tot op zekere hoogte hopen we dat onze inspanningen op het gebied van open source anderen zullen overtuigen om hetzelfde te doen. Maar het grote plaatje is dat de community deze modellen zelf moet kunnen trainen. Ons model heeft de grens verlegd van wat je op een enkele server kunt trainen – alles wat groter is vereist een pool van servers, wat de kosten drastisch verhoogt.”
Als u hier meer over wilt weten , kunt u de details vinden via de volgende link.