Trenutno smo počeli vidjeti porast različitih rješenja koja se počinju nuditi u vezi s generiranjem koda pomoću umjetne inteligencije (AI), a područje obrade prirodnog jezika (NLP) utrlo je put nizu umjetne inteligencije koja generira kod u raznim programskim jezicima.
Među njima možemo istaknuti GitHub Copilot, AlphaCode i Codex, a sada možemo dodati i novo rješenje istraživača sa Sveučilišta Carnegie Mellon koji su nedavno predstavili "PolyCoder", generator koda temeljen na OpenAI-jevom GPT-2 jezičnom modelu koji je obučen na bazi podataka koda od 249 GB u 12 programskih jezika.
O PolyCoderu
Autori PolyCodera tvrde da je sposoban pisati C s većom točnošću od bilo kojeg poznatog modela, uključujući Codex.
Umjetna inteligencija koja generira kod i može pisati izvorni kod u različitim programskim jezicima iz upita, obećava smanjenje troškova razvoja softvera, a istovremeno omogućuje programerima da se usredotoče na kreativne i manje repetitivne zadatke.
PolyCoder je obučen korištenjem podataka iz nekoliko GitHub repozitorija, pokrivajući 12 popularnih programskih jezika: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala i TypeScript.
Nefiltrirani skup podataka sadržavao je ukupno 631 GB podataka i 38,9 milijuna datoteka. Tim je rekao da su odlučili trenirati PolyCoder s GPT-2 zbog ograničenja proračuna. PolyCoder je dostupan kao otvoreni kod, a istraživači se nadaju da će moći demokratizirati istraživanje u području generiranja AI koda, kojim su do sada dominirale dobro financirane tvrtke.
Istraživači vjeruju da PolyCoder postiže bolje rezultate od drugih modela u generiranju koda u C jeziku. Međutim, Codex ga je dosljedno nadmašivao u drugim jezicima. "PolyCoder značajno nadmašuje Codex i sve ostale modele u C jeziku."
“Kada je Copilot prošlog ljeta izašao na GitHubu, postalo je jasno da ovi vrlo veliki modeli jezičnog koda mogu biti vrlo korisni u pomoći programerima i povećanju njihove produktivnosti. Ali nijedan model čak ni blizu te skale nije bio javno dostupan", rekli su istraživači VentureBeatu putem e-pošte. “Tako je [PolyCoder] počeo s Vincentom koji je pokušavao shvatiti koji je najveći model koji se mogao trenirati na našem laboratorijskom poslužitelju, a na kraju je bio 2700 milijardi parametara... i taj model je bio ligu ispred drugih modela orijentiranih na kod koji smo imali u to vrijeme bili javno dostupni.”
„ Kada se uspoređuju samo modeli otvorenog koda, PolyCoder nadmašuje slično veliki model GPT-Neo 2.7B u C-u, JavaScriptu, Rustu, Scali i TypeScriptu“, napominju. „U ostalih 11 jezika, svi ostali modeli otvorenog koda, uključujući i naš, znatno su lošiji (veća zbunjenost) od Codexa“, dodali su istraživači CMU-a.
Time je PolyCoder pozicioniran kao vrlo zanimljivo rješenje, budući da su istraživački laboratoriji kao što su OpenAI Elona Muska i Alphabetov DeepMind razvili moćnu umjetnu inteligenciju za generiranje koda, mnogi od najuspješnijih sustava nisu dostupni u otvorenom kodu. Tvrtke s niskim dohotkom nemaju pristup tome i ova situacija ograničava njihova istraživanja na terenu.
Na primjer, podaci o obuci iz OpenAI Codexa, koji pokreće GitHubovu značajku Copilot, nisu objavljeni, što sprječava istraživače da preciziraju AI model ili proučavaju određene njegove aspekte, kao što je interoperabilnost.
"Velike tehnološke tvrtke ne objavljuju javno svoje modele, što stvarno koči znanstvena istraživanja i demokratizaciju tako velikih modela jezičnog koda", rekli su istraživači. “U određenoj mjeri, nadamo se da će naši napori otvorenog koda uvjeriti druge da učine isto. Ali velika je slika da bi zajednica trebala biti u mogućnosti sama trenirati ove modele. Naš je model pomaknuo granicu onoga što možete trenirati na jednom poslužitelju – sve veće zahtijeva skup poslužitelja, što dramatično povećava troškove.”
Konačno, ako ste zainteresirani saznati više o ovome , detalje možete pronaći na sljedećoj poveznici.