V současné době, Začali jsme pozorovat nárůst různá řešení, která začínají nabízet ve vztahu k generování kódu umělé inteligence (AI) a právě oblast zpracování přirozeného jazyka (NLP) vydláždila cestu řadě AI generujících kód v různých programovacích jazycích.
Z toho vyzdvihnout můžeme například GitHub Copilot, AlphaCode a Codex a ke kterému nyní můžeme přidat nové řešení z ruky výzkumníci z Carnegie Mellon University kdo nedávno představil "PolyCoder", generátor kódu založený na jazykovém modelu GPT-2 OpenAI, který byl trénován na 249 GB databázi kódů ve 12 programovacích jazycích.
O PolyCoderu
Autoři PolyCoderu tvrdí, že ano schopný psát C přesněji než jakýkoli známý model, včetně Codexu.
Kód generující AI, umí psát zdrojový kód v různých programovacích jazycích Hned od začátku slibuje snížení nákladů na vývoj softwaru a zároveň umožňuje vývojářům soustředit se na méně opakující se kreativní úkoly.
PolyCoder byl poháněn daty z různých úložišť GitHub, které pokrývají 12 oblíbených programovacích jazyků: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala a TypeScript.
Nefiltrovaný soubor dat měl celkem 631 GB dat a 38,9 milionu souborů. Tým to řekl se rozhodl trénovat PolyCoder s GPT-2 kvůli rozpočtovým omezením. PolyCoder je k dispozici jako open source a výzkumníci doufají, že dokáže demokratizovat výzkum v oblasti generování kódu AI, kterému až dosud dominovaly dobře financované společnosti.
Vědci se domnívají, že PolyCoder při generování kódu v jazyce C funguje lépe než jiné modely. V jiných jazycích jej však Codex vždy překonával. „PolyCoder dramaticky překonává Codex a všechny ostatní modely v jazyce C.
„Když Copilot loni v létě vyšel na GitHubu, bylo jasné, že tyto velmi rozsáhlé modely jazykového kódu mohou být velmi užitečné při pomoci vývojářům a zvýšení jejich produktivity. Ale žádný model, ani blízký tomuto měřítku, nebyl veřejně dostupný,“ řekli výzkumníci společnosti VentureBeat e-mailem. "Takže [PolyCoder] začal s Vincentem, který se snažil zjistit, jaký byl největší model, který by se dal trénovat na našem laboratorním serveru, což skončilo s 2700 miliardami parametrů... a tento model byl o ligu před ostatními kódově orientovanými modely, které jsme měli. byly v té době veřejně dostupné.“
Při porovnávání pouze modelů s otevřeným zdrojovým kódem PolyCoder překonává podobně velký model GPT-Neo 2.7B v jazycích C, JavaScript, Rust, Scala a TypeScript." upozorňují "V ostatních 11 jazycích jsou všechny ostatní modely s otevřeným zdrojovým kódem, včetně našeho vlastního, výrazně horší (větší zmatenost) než Codex," dodali výzkumníci CMU.
Díky tomu je PolyCoder velmi zajímavým řešením, protože zatímco výzkumné laboratoře, jako je OpenAI Elona Muska a DeepMind společnosti Alphabet, vyvinuly výkonnou umělou inteligenci generující kód, mnoho z nejúspěšnějších systémů není dostupných v open source. Nízkopříjmové firmy k němu nemají přístup a tato situace omezuje jejich výzkum v oboru.
Například trénovací data z OpenAI Codex, která pohání funkci Copilot GitHubu, nebyla zveřejněna, což brání výzkumníkům zdokonalit model AI nebo studovat jeho určité aspekty, jako je interoperabilita.
"Velké technologické společnosti své modely veřejně nezveřejňují, což skutečně brzdí vědecký výzkum a demokratizaci tak velkých modelů jazykového kódu," uvedli vědci. „Do určité míry doufáme, že naše snahy o open source přesvědčí ostatní, aby udělali totéž. Ale celkový obrázek je, že komunita by měla být schopna trénovat tyto modely sama. Náš model posunul hranici toho, co můžete trénovat na jediném serveru – cokoli většího vyžaduje skupinu serverů, což dramaticky zvyšuje náklady.“
Konečně pokud máte zájem o tom vědět více, můžete zkontrolovat podrobnosti v následující odkaz.