Jelenleg egyre több különböző megoldás jelenik meg a mesterséges intelligencia (MI) segítségével történő kódgenerálással kapcsolatban , és a természetes nyelvi feldolgozás (NLP) területe utat nyitott a különféle programozási nyelveken elérhető kódgeneráló MI-k sorozatának.
Ezek közül kiemelhetjük a GitHub Copilotot, az AlphaCode-ot és a Codexet, és most hozzáadhatunk egy új megoldást a Carnegie Mellon Egyetem kutatóitól , akik nemrégiben bemutatták a "PolyCoder"-t, egy az OpenAI GPT-2 nyelvi modelljén alapuló kódgenerátort, amelyet egy 249 GB-os kódadatbázison, 12 programozási nyelven képeztek ki.
A PolyCoderről
A PolyCoder szerzői azt állítják, hogy képes nagyobb pontossággal írni a C nyelvet, mint bármely ismert modell, beleértve a Codexet is.
A kódgeneráló mesterséges intelligencia, amely egy promptból képes forráskódot írni különböző programozási nyelveken , ígéretet tesz a szoftverfejlesztési költségek csökkentésére, miközben lehetővé teszi a fejlesztők számára, hogy a kreatív és kevésbé ismétlődő feladatokra koncentráljanak.
A PolyCodert számos GitHub adattárból származó adatok felhasználásával képezték ki, amelyek 12 népszerű programozási nyelvet fedtek le: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala és TypeScript.
A szűretlen adathalmaz összesen 631 GB adatot és 38,9 millió fájlt tartalmazott. A csapat elmondta, hogy a költségvetési korlátok miatt a GPT-2-vel való betanítás mellett döntöttek. A PolyCoder nyílt forráskódúként érhető el, és a kutatók remélik, hogy demokratizálhatja a mesterséges intelligencia által generált kódgenerálás területén végzett kutatásokat, amelyet eddig a jól finanszírozott vállalatok uraltak.
A kutatók úgy vélik, hogy a PolyCoder jobban teljesít a C nyelven történő kódgenerálásban, mint más modellek. A Codex azonban más nyelveken következetesen felülmúlta. „A PolyCoder jelentősen felülmúlja a Codexet és az összes többi C nyelvű modellt.”
„Amikor a Copilot tavaly nyáron megjelent a GitHubon, világossá vált, hogy ezek a nagyon nagy nyelvi kódmodellek nagyon hasznosak lehetnek a fejlesztők segítésében és a termelékenységük növelésében. De ehhez a léptékhez közel álló modell sem volt nyilvánosan elérhető” – mondták a kutatók a VentureBeatnek e-mailben. „Tehát a [PolyCoder] azzal kezdte, hogy Vincent megpróbálta kitalálni, hogy melyik a legnagyobb modell, amely a laborszerverünkön betanítható, ami végül 2700 milliárd paramétert tett ki… és ez a modell egy szinttel megelőzte a többi kódorientált modellt . akkoriban nyilvánosan elérhetők voltak.”
„ Ha csak a nyílt forráskódú modelleket hasonlítjuk össze, a PolyCoder felülmúlja a hasonló méretű GPT-Neo 2.7B modellt C, JavaScript, Rust, Scala és TypeScript nyelveken” – jegyzik meg. „A többi 11 nyelvben az összes többi nyílt forráskódú modell, beleértve a sajátunkat is, jelentősen rosszabb (nagyobb a zavarodottság) a Codexnél” – tették hozzá a CMU kutatói.
Ezzel a PolyCoder nagyon érdekes megoldásként pozicionálható, hiszen míg az olyan kutatólaboratóriumok, mint az Elon Musk-féle OpenAI és az Alphabet's DeepMind hatékony kódgeneráló AI-t fejlesztettek ki, a legsikeresebb rendszerek közül sok nem érhető el nyílt forráskóddal. Az alacsony jövedelmű cégek nem férnek hozzá, és ez a helyzet korlátozza kutatásaikat ezen a területen.
Például nem hozták nyilvánosságra a GitHub másodpilóta funkcióját működtető OpenAI Codex képzési adatait, ami megakadályozza a kutatókat abban, hogy finomítsák az AI-modellt vagy tanulmányozzák annak bizonyos aspektusait, például az interoperabilitást.
"A nagy technológiai cégek nem teszik közzé nyilvánosan modelljeiket, ami valóban hátráltatja a tudományos kutatást és az ilyen nagy nyelvi kódmodellek demokratizálódását" - mondták a kutatók. „Bizonyos mértékig reméljük, hogy nyílt forráskódú erőfeszítéseink másokat is meggyőznek erről. De a nagy kép az, hogy a közösségnek képesnek kell lennie arra, hogy ezeket a modelleket önállóan képezze. Modellünk túllépte az egyetlen szerveren betanítható mennyiség határát – minden nagyobb kiszolgálókészletet igényel, ami drámaian megnöveli a költségeket.”
Végül, ha többet szeretnél megtudni erről , a részleteket az alábbi linken találod.