Praegu Oleme hakanud nägema kasvu erinevaid lahendusi, mida nad hakkavad pakkuma seoses koodi genereerimine tehisintellekti abil (AI) ja see on see, et loomuliku keele töötlemise (NLP) valdkond on sillutanud teed koodi genereerivate AI-de seeriale erinevates programmeerimiskeeltes.
Millest võime esile tõsta näiteks GitHub Copiloti, AlphaCode'i ja Codexi ja millele saame nüüd lisada uue lahenduse Carnegie Melloni ülikooli teadlased need, kes hiljuti tutvustas "PolyCoder", OpenAI GPT-2 keelemudelil põhinev koodigeneraator, mida koolitati 249 GB koodide andmebaasil 12 programmeerimiskeeles.
PolyCoderi kohta
PolyCoderi autorid väidavad, et see on nii suudab C-d kirjutada täpsemalt kui ükski tuntud mudel, sealhulgas Codex.
Koodi genereeriv AI, oskab kirjutada lähtekoodi erinevates programmeerimiskeeltes Kohe tõotab see alandada tarkvaraarenduse kulusid, võimaldades samal ajal arendajatel keskenduda vähem korduvatele loomingulistele ülesannetele.
PolyCoderi toiteallikaks olid andmed erinevatest GitHubi hoidlatest, mis hõlmasid 12 populaarset programmeerimiskeelt: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala ja TypeScript.
Filtreerimata andmekogumis oli kokku 631 GB andmeid ja 38,9 miljonit faili. Meeskond ütles seda otsustas eelarvepiirangute tõttu koolitada PolyCoderit GPT-2-ga. PolyCoder on saadaval avatud lähtekoodiga ja teadlased loodavad, et see suudab demokratiseerida AI-koodi genereerimise alast uurimistööd, kus seni on domineerinud hästi rahastatud ettevõtted.
Teadlased usuvad, et PolyCoder see töötab C-keeles koodi genereerimisel paremini kui teised mudelid. Kuid Codex on alati teistes keeltes ületanud. "PolyCoder edestab järsult Codexit ja kõiki teisi C-keele mudeleid.
"Kui Copilot eelmisel suvel GitHubis välja tuli, sai selgeks, et need väga suured keelekoodimudelid võivad olla arendajate abistamisel ja nende tootlikkuse tõstmisel väga kasulikud. Kuid ükski sellele skaalale lähedane mudel polnud avalikult kättesaadav, " ütlesid teadlased VentureBeatile meili teel. "Nii et [PolyCoder] alustas Vincentiga, kes püüdis välja mõelda, milline on suurim mudel, mida meie laboriserveris treenida saab ja mis lõpuks oli 2700 miljardit parameetrit... ja see mudel oli teistest koodile orienteeritud mudelitest ees liiga palju . olid sel ajal avalikult kättesaadavad.
Kui võrrelda ainult avatud lähtekoodiga mudeleid, PolyCoder ületab sarnase suurusega GPT-Neo 2.7B mudelit C, JavaScripti, Rusti, Scala ja TypeScripti puhul. nad osutavad "Ülejäänud 11 keeles on kõik muud avatud lähtekoodiga mudelid, sealhulgas meie oma, oluliselt halvemad (suurem segadus) kui Codex," lisasid CMU teadlased.
Sellega on PolyCoder positsioneeritud väga huvitava lahendusena, kuna kuigi uurimislaborid, nagu Elon Muski OpenAI ja Alphabeti DeepMind, on välja töötanud võimsa koodi genereeriva AI, pole paljud kõige edukamad süsteemid avatud lähtekoodiga saadaval. Madala sissetulekuga ettevõtetel pole sellele ligipääsu ja selline olukord piirab nende valdkonna uurimistööd.
Näiteks ei ole GitHubi Copiloti funktsiooni käivitava OpenAI Codexi koolitusandmeid avalikustatud, mis takistab teadlastel tehisintellekti mudelit täpsustada või uurida selle teatud aspekte, näiteks koostalitlusvõimet.
"Suured tehnoloogiaettevõtted ei avalda oma mudeleid avalikult, mis tõesti pärsib teadusuuringuid ja nii suurte keelekoodimudelite demokratiseerimist," ütlesid teadlased. "Mingil määral loodame, et meie avatud lähtekoodiga jõupingutused veenavad teisi sama tegema. Kuid suur pilt on see, et kogukond peaks suutma neid mudeleid iseseisvalt koolitada. Meie mudel ületas ühe serveriga treenimise piiri – kõik suuremad nõuavad serverite kogumit, mis suurendab kulusid järsult.
Lõpuks kui olete huvitatud sellest rohkem teada saama, saate üksikasju vaadata järgmine link.