I øjeblikket er vi begyndt at se en stigning i de forskellige løsninger, der begynder at blive tilbudt i forbindelse med kodegenerering ved hjælp af kunstig intelligens (AI), og feltet for naturlig sprogbehandling (NLP) har banet vejen for en række kodegenererende AI'er i forskellige programmeringssprog.
Blandt disse kan vi fremhæve GitHub Copilot, AlphaCode og Codex, og nu kan vi tilføje en ny løsning fra forskere ved Carnegie Mellon University , som for nylig præsenterede "PolyCoder", en kodegenerator baseret på OpenAI's GPT-2-sprogmodel, der blev trænet på en 249 GB stor kodedatabase i 12 programmeringssprog.
Om PolyCoder
Forfatterne af PolyCoder hævder, at den er i stand til at skrive C med større nøjagtighed end nogen kendt model, inklusive Codex.
Den kodegenererende AI, som kan skrive kildekode i forskellige programmeringssprog fra en prompt, lover at reducere softwareudviklingsomkostningerne, samtidig med at udviklerne kan fokusere på kreative og mindre gentagne opgaver.
PolyCoder blev trænet ved hjælp af data fra adskillige GitHub-arkiver, der dækker 12 populære programmeringssprog: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala og TypeScript.
Det ufiltrerede datasæt indeholdt i alt 631 GB data og 38,9 millioner filer. Holdet sagde, at de valgte at træne PolyCoder med GPT-2 på grund af budgetbegrænsninger. PolyCoder er tilgængelig som open source, og forskerne håber, at det kan demokratisere forskning inden for AI-kodegenerering, som indtil videre har været domineret af velfinansierede virksomheder.
Forskere mener, at PolyCoder klarer sig bedre end andre modeller til at generere kode i C-sproget. Codex har dog konsekvent klaret sig bedre end den i andre sprog. "PolyCoder klarer sig betydeligt bedre end Codex og alle andre modeller i C-sproget."
“Da Copilot udkom på GitHub sidste sommer, blev det klart, at disse meget store sprogkodemodeller kan være meget nyttige til at hjælpe udviklere og øge deres produktivitet. Men ingen model engang tæt på den skala var offentligt tilgængelig," fortalte forskerne VentureBeat via e-mail. "Så [PolyCoder] startede med, at Vincent forsøgte at finde ud af, hvad der var den største model, der kunne trænes på vores laboratorieserver, som endte med at være 2700 milliarder parametre... og den model var en liga foran andre kodeorienterede modeller, som vi havde . var offentligt tilgængelige på det tidspunkt."
" Når man kun sammenligner open source-modeller, overgår PolyCoder den tilsvarende store GPT-Neo 2.7B-model i C, JavaScript, Rust, Scala og TypeScript," bemærker de. "I de andre 11 sprog er alle andre open source-modeller, inklusive vores egne, betydeligt dårligere (større forvirring) end Codex," tilføjede CMU-forskerne.
Med dette er PolyCoder positioneret som en meget interessant løsning, da mens forskningslaboratorier som Elon Musks OpenAI og Alphabets DeepMind har udviklet kraftfuld kodegenererende AI, er mange af de mest succesrige systemer ikke tilgængelige i open source. Lavindkomstvirksomheder har ikke adgang til det, og denne situation begrænser deres forskning på området.
For eksempel er træningsdata fra OpenAI Codex, som driver GitHubs Copilot-funktion, ikke blevet offentliggjort, hvilket forhindrer forskere i at forfine AI-modellen eller studere visse aspekter af den, såsom interoperabilitet.
"Store teknologivirksomheder frigiver ikke deres modeller offentligt, hvilket virkelig holder videnskabelig forskning og demokratiseringen af så store sprogkodemodeller tilbage," sagde forskerne. "Til en vis grad håber vi, at vores open source-indsats vil overbevise andre om at gøre det samme. Men det store billede er, at samfundet skal være i stand til at træne disse modeller på egen hånd. Vores model rykkede grænsen for, hvad du kan træne på en enkelt server - alt større kræver en pulje af servere, hvilket dramatisk øger omkostningerne."
Endelig, hvis du er interesseret i at lære mere om dette , kan du finde detaljerne på følgende link.