För närvarande har vi börjat se en ökning av de olika lösningar som börjar erbjudas inom kodgenerering med hjälp av artificiell intelligens (AI), och området för naturlig språkbehandling (NLP) har banat väg för en serie kodgenererande AI:er i olika programmeringsspråk.
Bland dessa kan vi lyfta fram GitHub Copilot, AlphaCode och Codex, och nu kan vi lägga till en ny lösning från forskare vid Carnegie Mellon University som nyligen presenterade "PolyCoder", en kodgenerator baserad på OpenAI:s GPT-2-språkmodell som tränades på en 249 GB stor koddatabas i 12 programmeringsspråk.
Om PolyCoder
Författarna till PolyCoder hävdar att den kan skriva C med större noggrannhet än någon känd modell, inklusive Codex.
Den kodgenererande AI:n, som kan skriva källkod i olika programmeringsspråk från en prompt, lovar att minska kostnaderna för mjukvaruutveckling samtidigt som utvecklare kan fokusera på kreativa och mindre repetitiva uppgifter.
PolyCoder tränades med hjälp av data från flera GitHub-databaser, som täckte 12 populära programmeringsspråk: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala och TypeScript.
Den ofiltrerade datamängden omfattade totalt 631 GB data och 38,9 miljoner filer. Teamet sa att de valde att träna PolyCoder med GPT-2 på grund av budgetbegränsningar. PolyCoder är tillgänglig som öppen källkod, och forskarna hoppas att det kan demokratisera forskningen inom AI-kodgenerering, vilket hittills har dominerats av välfinansierade företag.
Forskare tror att PolyCoder presterar bättre än andra modeller på att generera kod i C-språket. Codex har dock konsekvent överträffat det i andra språk. "PolyCoder överträffar Codex och alla andra modeller i C-språket avsevärt."
”När Copilot lämnade GitHub förra sommaren blev det klart att dessa mycket stora språkkodmodeller kan vara mycket användbara för att hjälpa utvecklare och öka deras produktivitet. Men inga modeller ens i närheten av den skalan var offentligt tillgängliga”, sa forskarna till VentureBeat via e-post. "Så [PolyCoder] började med att Vincent försökte se vad som var den största modellen som kunde tränas på vår labbserver, som slutade med 2700 miljarder parametrar ... och den modellen var en liga före andra kodorienterade modeller som var allmänt tillgängliga vid den tiden."
” När man bara jämför modeller med öppen källkod överträffar PolyCoder den liknande stora GPT-Neo 2.7B-modellen i C, JavaScript, Rust, Scala och TypeScript”, konstaterar de. ”I de andra 11 språken är alla andra modeller med öppen källkod, inklusive vår egen, betydligt sämre (mer förvirrande) än Codex”, tillade CMU-forskarna.
Det är med detta som PolyCoder är positionerat som en mycket intressant lösning, eftersom medan forskningslaboratorier som Elon Musks OpenAI och Alphabets DeepMind har utvecklat kraftfull kodgenererande AI, är många av de mest framgångsrika systemen inte tillgängliga i öppen källkod. Låginkomstföretag har inte tillgång till det och denna situation begränsar deras forskning inom området.
Till exempel har träningsdata från OpenAI Codex, som driver GitHubs Copilot-funktion, inte offentliggjorts, vilket hindrar forskare från att förfina AI-modellen eller studera vissa aspekter av den, såsom interoperabilitet.
"Stora teknikföretag släpper inte sina modeller offentligt, vilket verkligen håller tillbaka vetenskaplig forskning och demokratisering av så stora språkkodmodeller," sa forskarna. "I viss mån hoppas vi att våra ansträngningar med öppen källkod kommer att övertyga andra att göra detsamma. Men den stora bilden är att samhället ska kunna träna dessa modeller själva. Vår modell har flyttat gränsen för vad du kan träna på en enda server – allt större kräver en pool av servrar, vilket dramatiskt ökar kostnaden.”
Slutligen, om du är intresserad av att lära dig mer om detta , kan du hitta detaljerna på följande länk.