Tällä hetkellä olemme alkaneet nähdä lisääntyvää määrää erilaisia ratkaisuja, joita tarjotaan tekoälyn (AI) avulla tapahtuvaan koodin generointiin, ja luonnollisen kielen käsittely (NLP) on tasoittanut tietä useille koodia generoiville tekoälyille eri ohjelmointikielillä.
Näistä voimme korostaa GitHub Copilotia, AlphaCodea ja Codexia, ja nyt voimme lisätä uuden ratkaisun Carnegie Mellon -yliopiston tutkijoilta , jotka äskettäin esittelivät "PolyCoderin", OpenAI:n GPT-2-kielimalliin perustuvan koodigeneraattorin, jota on koulutettu 249 Gt:n kooditietokannassa 12 ohjelmointikielellä.
Tietoja PolyCoderista
PolyCoderin tekijät väittävät, että se pystyy kirjoittamaan C-kieltä suuremmalla tarkkuudella kuin mikään tunnettu malli, Codex mukaan lukien.
Koodia generoiva tekoäly, joka voi kirjoittaa lähdekoodia eri ohjelmointikielillä kehotteesta, lupaa vähentää ohjelmistokehityskustannuksia ja antaa kehittäjille mahdollisuuden keskittyä luoviin ja vähemmän toistuviin tehtäviin.
PolyCoder koulutettiin käyttämällä dataa useista GitHub-tietovarastoista, jotka kattavat 12 suosittua ohjelmointikieltä: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala ja TypeScript.
Suodattamaton tietojoukko sisälsi yhteensä 631 Gt dataa ja 38,9 miljoonaa tiedostoa. Tiimi kertoi valinneensa PolyCoderin kouluttamisen GPT-2:lla budjettirajoitusten vuoksi. PolyCoder on saatavilla avoimen lähdekoodin versiona, ja tutkijat toivovat sen voivan demokratisoida tekoälykoodin luomisen tutkimusta, jota tähän mennessä ovat hallinneet hyvin rahoitetut yritykset.
Tutkijat uskovat, että PolyCoder suoriutuu C-kielisen koodin luomisessa paremmin kuin muut mallit. Codex on kuitenkin jatkuvasti suoriutunut siitä paremmin muilla kielillä. "PolyCoder suoriutuu merkittävästi Codexia ja kaikkia muita C-kielisiä malleja paremmin."
"Kun Copilot ilmestyi GitHubille viime kesänä, kävi selväksi, että nämä erittäin suuret kielikoodimallit voivat olla erittäin hyödyllisiä kehittäjien auttamiseksi ja tuottavuuden lisäämiseksi. Mutta yksikään malli, joka olisi lähelläkään tätä mittakaavaa, ei ollut julkisesti saatavilla", tutkijat kertoivat VentureBeatille sähköpostitse. "Joten [PolyCoder] aloitti Vincentin yrittäessä selvittää, mikä oli suurin malli, joka voitaisiin kouluttaa laboratoriopalvelimellamme, ja joka lopulta oli 2700 miljardia parametria… ja tämä malli oli sarjan muita koodisuuntautuneita malleja edellä. . olivat tuolloin julkisesti saatavilla."
” Kun verrataan vain avoimen lähdekoodin malleja, PolyCoder suoriutuu paremmin kuin vastaavan kokoinen GPT-Neo 2.7B -malli C:ssä, JavaScriptissä, Rustissa, Scalassa ja TypeScriptissä”, he toteavat. ”Muilla 11 kielellä kaikki muut avoimen lähdekoodin mallit, omamme mukaan lukien, ovat merkittävästi huonompia (suurempi hämmennys) kuin Codex”, CMU:n tutkijat lisäsivät.
Tämän ansiosta PolyCoder sijoittuu erittäin mielenkiintoiseksi ratkaisuksi, sillä vaikka tutkimuslaboratoriot, kuten Elon Muskin OpenAI ja Alphabet's DeepMind, ovat kehittäneet tehokkaan koodia luovan tekoälyn, monet menestyneimmistä järjestelmistä eivät ole saatavilla avoimessa lähdekoodissa. Pienituloisilla yrityksillä ei ole pääsyä siihen ja tämä tilanne rajoittaa niiden tutkimusta alalla.
Esimerkiksi GitHubin Copilot-ominaisuutta tukevan OpenAI Codexin koulutustietoja ei ole julkistettu, mikä estää tutkijoita jalostamasta tekoälymallia tai tutkimasta sen tiettyjä näkökohtia, kuten yhteentoimivuutta.
"Suuret teknologiayritykset eivät julkista mallejaan, mikä todella hidastaa tieteellistä tutkimusta ja tällaisten suurten kielikoodimallien demokratisoitumista", tutkijat sanoivat. ”Jossain määrin toivomme, että avoimen lähdekoodin ponnistelumme vakuuttavat muutkin tekemään samoin. Mutta iso kuva on, että yhteisön pitäisi pystyä kouluttamaan näitä malleja itse. Mallimme ylitti rajan sille, mitä voit harjoitella yhdellä palvelimella – kaikki suurempi vaatii useita palvelimia, mikä nostaa kustannuksia dramaattisesti.
Lopuksi, jos olet kiinnostunut oppimaan lisää tästä , löydät yksityiskohdat seuraavasta linkistä.