Pašlaik mēs esam sākuši novērot dažādu risinājumu pieaugumu , kas tiek piedāvāti saistībā ar koda ģenerēšanu, izmantojot mākslīgo intelektu (MI), un dabiskās valodas apstrādes (NLP) joma ir pavērusi ceļu virknei kodu ģenerējošu MI dažādās programmēšanas valodās.
Starp tiem var izcelt GitHub Copilot, AlphaCode un Codex, un tagad varam pievienot jaunu risinājumu no Kārnegija Melona universitātes pētniekiem , kuri nesen prezentēja "PolyCoder" — koda ģeneratoru, kas balstīts uz OpenAI GPT-2 valodas modeli un tika apmācīts 249 GB koda datubāzē 12 programmēšanas valodās.
Par PolyCoder
PolyCoder autori apgalvo, ka tas spēj rakstīt C valodā ar lielāku precizitāti nekā jebkurš zināms modelis, tostarp Codex.
Kodu ģenerējošais mākslīgais intelekts, kas var rakstīt pirmkodu dažādās programmēšanas valodās no uzvednes, sola samazināt programmatūras izstrādes izmaksas, vienlaikus ļaujot izstrādātājiem koncentrēties uz radošiem un mazāk atkārtotiem uzdevumiem.
PolyCoder tika apmācīts, izmantojot datus no vairākām GitHub krātuvēm, aptverot 12 populāras programmēšanas valodas: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala un TypeScript.
Nefiltrētā datu kopa kopumā ietvēra 631 GB datu un 38,9 miljonus failu. Komanda norādīja, ka budžeta ierobežojumu dēļ izvēlējās apmācīt PolyCoder ar GPT-2. PolyCoder ir pieejams kā atvērtā koda programmatūra, un pētnieki cer, ka tā var demokratizēt pētījumus mākslīgā intelekta koda ģenerēšanas jomā, kurā līdz šim dominējuši labi finansēti uzņēmumi.
Pētnieki uzskata, ka PolyCoder darbojas labāk nekā citi modeļi, ģenerējot kodu C valodā. Tomēr Codex to pastāvīgi pārspēj citās valodās. "PolyCoder ievērojami pārspēj Codex un visus citus modeļus C valodā."
“Kad Copilot pagājušajā vasarā iznāca GitHub, kļuva skaidrs, ka šie ļoti lielie valodu kodu modeļi var būt ļoti noderīgi, lai palīdzētu izstrādātājiem un palielinātu viņu produktivitāti. Bet neviens modelis, kas pat tuvu šim mērogam, nebija publiski pieejams," pa e-pastu VentureBeat pastāstīja pētnieki. “Tātad [PolyCoder] sāka ar Vincenta mēģinājumu izdomāt, kurš ir lielākais modelis, ko varētu apmācīt mūsu laboratorijas serverī, kas galu galā bija 2700 miljardi parametru… un šis modelis bija par līgu priekšā citiem uz kodu orientētiem modeļiem, kas mums bija. . tajā laikā bija publiski pieejami.
“ Salīdzinot tikai atvērtā pirmkoda modeļus, PolyCoder pārspēj līdzīga izmēra GPT-Neo 2.7B modeli C, JavaScript, Rust, Scala un TypeScript valodās,” viņi norāda. “Pārējās 11 valodās visi pārējie atvērtā pirmkoda modeļi, tostarp mūsu pašu, ir ievērojami sliktāki (lielāka sarežģītība) nekā Codex,” piebilda CMU pētnieki.
Tādējādi PolyCoder tiek pozicionēts kā ļoti interesants risinājums, jo, lai gan pētniecības laboratorijas, piemēram, Elona Muska OpenAI un Alphabet's DeepMind, ir izstrādājušas jaudīgu kodu ģenerējošu AI, daudzas no visveiksmīgākajām sistēmām nav pieejamas atklātā pirmkoda režīmā. Uzņēmumiem ar zemiem ienākumiem tas nav pieejams, un šī situācija ierobežo to pētniecību šajā jomā.
Piemēram, apmācības dati no OpenAI Codex, kas nodrošina GitHub Copilot funkciju, nav publiskoti, neļaujot pētniekiem pilnveidot AI modeli vai pētīt noteiktus tā aspektus, piemēram, savietojamību.
"Lielie tehnoloģiju uzņēmumi publiski neizlaiž savus modeļus, kas patiešām kavē zinātnisko izpēti un tik lielu valodas kodu modeļu demokratizāciju," sacīja pētnieki. "Zināmā mērā mēs ceram, ka mūsu atvērtā pirmkoda centieni pārliecinās citus rīkoties tāpat. Bet kopumā kopienai vajadzētu būt iespējai apmācīt šos modeļus vienai. Mūsu modelis pārsniedz to, ko varat apmācīt vienā serverī — jebkuram lielākam ir nepieciešams serveru kopums, kas ievērojami palielina izmaksas.
Visbeidzot, ja vēlaties uzzināt vairāk par šo tēmu , sīkāku informāciju varat atrast, izmantojot šo saiti.