Trenutno Začeli smo opažati povečanje različne rešitve, ki jih začenjajo ponujati v zvezi z generiranje kode z uporabo umetne inteligence (AI) in to je, da je področje obdelave naravnega jezika (NLP) utrlo pot seriji AI, ki generirajo kodo, v različnih programskih jezikih.
Od katerega lahko izpostavimo na primer GitHub Copilot, AlphaCode in Codex in ji lahko zdaj dodamo novo rešitev iz roke raziskovalci na univerzi Carnegie Mellon kdo nedavno predstavljen "PolyCoder", generator kode, ki temelji na jezikovnem modelu OpenAI GPT-2, ki je bil usposobljen na 249 GB kodne baze podatkov v 12 programskih jezikih.
O PolyCoderju
Avtorji PolyCoder trdijo, da je sposoben pisati C natančneje kot kateri koli znani model, vključno s Codexom.
koda, ki ustvarja AI, lahko piše izvorno kodo v različnih programskih jezikih Takoj obljublja znižanje stroškov razvoja programske opreme, hkrati pa omogoča razvijalcem, da se osredotočijo na manj ponavljajoče se ustvarjalne naloge.
PolyCoder so poganjali podatki iz različnih repozitorijev GitHub, ki pokrivajo 12 priljubljenih programskih jezikov: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala in TypeScript.
Nefiltriran nabor podatkov je vseboval 631 GB podatkov in 38,9 milijona datotek. Ekipa je to rekla se odločil za usposabljanje PolyCoder z GPT-2 zaradi proračunskih omejitev. PolyCoder je na voljo kot odprtokodni in raziskovalci upajo, da bo lahko demokratiziral raziskave na področju generiranja kode AI, v kateri so do zdaj prevladovala dobro financirana podjetja.
Raziskovalci verjamejo, da PolyCoder deluje bolje kot drugi modeli pri generiranju kode v jeziku C. Vendar ga je Codex v drugih jezikih vedno presegel. "PolyCoder dramatično prekaša Codex in vse druge modele v jeziku C.
»Ko je Copilot lani poleti prišel na GitHub, je postalo jasno, da so ti zelo veliki jezikovni kodni modeli lahko zelo uporabni pri pomoči razvijalcem in povečanju njihove produktivnosti. Toda noben model niti blizu te lestvice ni bil javno dostopen," so raziskovalci povedali VentureBeatu po elektronski pošti. »Torej [PolyCoder] je začel tako, da je Vincent poskušal ugotoviti, kateri je največji model, ki bi ga bilo mogoče usposobiti na našem laboratorijskem strežniku, ki je na koncu znašal 2700 milijarde parametrov ... in ta model je bil ligo pred drugimi kodno usmerjenimi modeli, ki smo jih imeli . so bili takrat javno dostopni."
Če primerjamo samo odprtokodne modele, PolyCoder prekaša model GPT-Neo 2.7B podobne velikosti v C, JavaScript, Rust, Scala in TypeScript." poudarjajo "V ostalih 11 jezikih so vsi drugi odprtokodni modeli, vključno z našim, bistveno slabši (večja zmeda) kot Codex," so dodali raziskovalci CMU.
S tem je PolyCoder pozicioniran kot zelo zanimiva rešitev, saj so raziskovalni laboratoriji, kot sta OpenAI Elona Muska in Alphabetov DeepMind, razvili zmogljivo umetno inteligenco, ki generira kodo, mnogi najuspešnejši sistemi niso na voljo v odprtokodni različici. Podjetja z nizkimi dohodki do nje nimajo dostopa in ta situacija omejuje njihove raziskave na tem področju.
Na primer, podatki o usposabljanju iz kodeksa OpenAI, ki poganja GitHubovo funkcijo Copilot, niso bili objavljeni, kar raziskovalcem preprečuje, da bi izboljšali model AI ali preučili nekatere njegove vidike, kot je interoperabilnost.
"Velika tehnološka podjetja svojih modelov ne objavljajo javno, kar resnično ovira znanstvene raziskave in demokratizacijo tako velikih jezikovnih kodnih modelov," so povedali raziskovalci. »Do neke mere upamo, da bodo naša odprtokodna prizadevanja prepričala druge, da storijo enako. Toda velika slika je, da bi morala biti skupnost sposobna sama usposobiti te modele. Naš model je premaknil mejo tega, kar lahko trenirate na enem strežniku – vse, kar je večje, zahteva nabor strežnikov, kar dramatično poveča stroške.”
Končno če vas zanima več o tem, podrobnosti lahko preverite v naslednja povezava.