tällä hetkellä, Olemme alkaneet nähdä kasvua erilaisia ratkaisuja, joita he alkavat tarjota suhteessa koodin luominen tekoälyn avulla (AI), ja luonnollisen kielen käsittelyn (NLP) ala on tasoittanut tietä sarjalle koodia luovia tekoälyjä eri ohjelmointikielillä.
Minkä voimme korostaa esimerkiksi GitHub Copilot, AlphaCode ja Codex ja johon voimme nyt lisätä uuden ratkaisun Carnegie Mellonin yliopiston tutkijat joka äskettäin esitelty "PolyCoder", OpenAI:n GPT-2-kielimalliin perustuva koodigeneraattori, joka on koulutettu 249 Gt:n kooditietokantaan 12 ohjelmointikielellä.
Tietoja PolyCoderista
PolyCoderin kirjoittajat väittävät, että se on pystyy kirjoittamaan C:tä tarkemmin kuin mikään tunnettu malli, mukaan lukien Codex.
Koodia luova tekoäly, osaa kirjoittaa lähdekoodia eri ohjelmointikielillä Se lupaa alentaa ohjelmistokehityskustannuksia samalla kun kehittäjät voivat keskittyä vähemmän toistuviin luoviin tehtäviin.
PolyCoder sai virtansa useista GitHub-tietovarastoista saaduilla tiedoilla, jotka kattoivat 12 suosittua ohjelmointikieltä: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala ja TypeScript.
Suodattamaton tietojoukko oli yhteensä 631 Gt tietoa ja 38,9 miljoonaa tiedostoa. Joukkue sanoi sen päätti kouluttaa PolyCoderin GPT-2:lla budjettirajoitusten vuoksi. PolyCoder on saatavilla avoimena lähdekoodina, ja tutkijat toivovat, että se voi demokratisoida tutkimusta tekoälykoodin generoinnin alalla, jota tähän asti ovat hallinneet hyvin rahoitetut yritykset.
Tutkijat uskovat, että PolyCoder se toimii paremmin kuin muut mallit koodin luomisessa C-kielellä. Codex on kuitenkin aina päihittänyt sen muilla kielillä. "PolyCoder ylittää dramaattisesti Codexin ja kaikki muut mallit C-kielellä.
"Kun Copilot ilmestyi GitHubille viime kesänä, kävi selväksi, että nämä erittäin suuret kielikoodimallit voivat olla erittäin hyödyllisiä kehittäjien auttamiseksi ja tuottavuuden lisäämiseksi. Mutta yksikään malli, joka olisi lähelläkään tätä mittakaavaa, ei ollut julkisesti saatavilla", tutkijat kertoivat VentureBeatille sähköpostitse. "Joten [PolyCoder] aloitti Vincentin yrittäessä selvittää, mikä oli suurin malli, joka voitaisiin kouluttaa laboratoriopalvelimellamme, ja joka lopulta oli 2700 miljardia parametria… ja tämä malli oli sarjan muita koodisuuntautuneita malleja edellä. . olivat tuolloin julkisesti saatavilla."
Kun verrataan vain avoimen lähdekoodin malleja, PolyCoder ylittää vastaavan kokoisen GPT-Neo 2.7B -mallin C:ssä, JavaScriptissä, Rustissa, Scalassa ja TypeScriptissä." he huomauttavat "Muilla 11 kielellä kaikki muut avoimen lähdekoodin mallit, mukaan lukien omamme, ovat huomattavasti huonompia (suurempi hämmennys) kuin Codex", CMU:n tutkijat lisäsivät.
Tämän ansiosta PolyCoder sijoittuu erittäin mielenkiintoiseksi ratkaisuksi, sillä vaikka tutkimuslaboratoriot, kuten Elon Muskin OpenAI ja Alphabet's DeepMind, ovat kehittäneet tehokkaan koodia luovan tekoälyn, monet menestyneimmistä järjestelmistä eivät ole saatavilla avoimessa lähdekoodissa. Pienituloisilla yrityksillä ei ole pääsyä siihen ja tämä tilanne rajoittaa niiden tutkimusta alalla.
Esimerkiksi GitHubin Copilot-ominaisuutta tukevan OpenAI Codexin koulutustietoja ei ole julkistettu, mikä estää tutkijoita jalostamasta tekoälymallia tai tutkimasta sen tiettyjä näkökohtia, kuten yhteentoimivuutta.
"Suuret teknologiayritykset eivät julkista mallejaan, mikä todella hidastaa tieteellistä tutkimusta ja tällaisten suurten kielikoodimallien demokratisoitumista", tutkijat sanoivat. ”Jossain määrin toivomme, että avoimen lähdekoodin ponnistelumme vakuuttavat muutkin tekemään samoin. Mutta iso kuva on, että yhteisön pitäisi pystyä kouluttamaan näitä malleja itse. Mallimme ylitti rajan sille, mitä voit harjoitella yhdellä palvelimella – kaikki suurempi vaatii useita palvelimia, mikä nostaa kustannuksia dramaattisesti.
Vihdoin jos olet kiinnostunut tietämään siitä lisää, voit tarkistaa yksityiskohdat seuraava linkki.