Šiuo metu Pradėjome matyti, kad didėja įvairių sprendimų, kuriuos jie pradeda siūlyti, atsižvelgiant į kodų generavimas naudojant dirbtinį intelektą (AI) ir būtent tai, kad natūralios kalbos apdorojimo (NLP) sritis atvėrė kelią kodą generuojančių AI serijai įvairiose programavimo kalbose.
Iš kurių galime išskirti, pavyzdžiui, GitHub Copilot, AlphaCode ir Codex ir prie kurio dabar galime pridėti naują sprendimą iš rankų Carnegie Mellon universiteto mokslininkai tie, kurie neseniai pristatytas „PolyCoder“, kodų generatorius, pagrįstas OpenAI GPT-2 kalbos modeliu, kuris buvo apmokytas 249 GB kodų duomenų bazėje 12 programavimo kalbų.
Apie PolyCoder
„PolyCoder“ autoriai teigia, kad taip yra galintis rašyti C tiksliau nei bet kuris žinomas modelis, įskaitant Codex.
Kodą generuojantis AI, gali rašyti šaltinio kodą įvairiomis programavimo kalbomis Iškart tai žada sumažinti programinės įrangos kūrimo išlaidas, tuo pačiu leisdama kūrėjams sutelkti dėmesį į mažiau pasikartojančias kūrybingas užduotis.
„PolyCoder“ buvo maitinamas duomenimis iš įvairių „GitHub“ saugyklų, apimančių 12 populiarių programavimo kalbų: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala ir TypeScript.
Nefiltruotų duomenų rinkinys sudarė 631 GB duomenų ir 38,9 mln. failų. Komanda tai pasakė dėl biudžeto apribojimų pasirinko mokyti PolyCoder su GPT-2. „PolyCoder“ yra prieinamas kaip atvirasis šaltinis, ir mokslininkai tikisi, kad jis gali demokratizuoti AI kodų generavimo srities tyrimus, kuriuose iki šiol dominavo gerai finansuojamos įmonės.
Tyrėjai mano, kad PolyCoder jis veikia geriau nei kiti modeliai generuojant kodą C kalba. Tačiau Codex visada pranokdavo jį kitomis kalbomis. „PolyCoder žymiai lenkia Codex ir visus kitus modelius C kalba.
„Kai praėjusią vasarą Copilot pasirodė GitHub platformoje, tapo aišku, kad šie labai dideli kalbos kodo modeliai gali būti labai naudingi padedant kūrėjams ir didinant jų produktyvumą. Tačiau joks tokio masto modelis nebuvo viešai prieinamas“, – el. paštu „VentureBeat“ pasakojo mokslininkai. „Taigi [PolyCoder] pradėjo nuo Vincento, kuris bandė išsiaiškinti, koks yra didžiausias modelis, kurį būtų galima apmokyti mūsų laboratorijos serveryje, kuris galiausiai buvo 2700 milijardo parametrų... ir tas modelis buvo lyga pranašesnis už kitus į kodą orientuotus modelius . tuo metu buvo viešai prieinami.
Lyginant tik atvirojo kodo modelius, „PolyCoder“ pralenkia panašaus dydžio GPT-Neo 2.7B modelį C, JavaScript, Rust, Scala ir TypeScript. jie nurodo „Kitose 11 kalbų visi kiti atvirojo kodo modeliai, įskaitant mūsų, yra žymiai blogesni (didesnis sumišimas) nei Codex“, – pridūrė CMU tyrėjai.
Dėl šios priežasties „PolyCoder“ yra labai įdomus sprendimas, nes nors tyrimų laboratorijos, tokios kaip Elono Musko „OpenAI“ ir „Alphabet“ „DeepMind“, sukūrė galingą kodą generuojantį AI, daugelio sėkmingiausių sistemų nėra atvirojo kodo. Mažas pajamas gaunančios įmonės neturi prieigos prie to ir tokia situacija riboja jų tyrimus šioje srityje.
Pavyzdžiui, treniruočių duomenys iš OpenAI Codex, kuriame veikia „GitHub Copilot“ funkcija, nebuvo paskelbti viešai, o tai neleidžia tyrėjams tobulinti AI modelio ar tirti tam tikrus jo aspektus, pavyzdžiui, sąveikumą.
„Didžiosios technologijų įmonės viešai neskelbia savo modelių, o tai tikrai stabdo mokslinius tyrimus ir tokių didelių kalbos kodų modelių demokratizavimą“, – teigė mokslininkai. „Tikimės, kad mūsų atvirojo kodo pastangos įtikins kitus daryti tą patį. Tačiau bendras vaizdas yra tas, kad bendruomenė turėtų turėti galimybę savarankiškai parengti šiuos modelius. Mūsų modelis padidino ribą, ką galite treniruoti viename serveryje – viskam, kas didesnis, reikia serverių telkinio, o tai labai padidina išlaidas.
Pagaliau jei norite sužinoti daugiau apie tai, išsamią informaciją galite patikrinti sekanti nuoroda.