Aktualisht, kemi filluar të shohim një rritje të zgjidhjeve të ndryshme që kanë filluar të ofrohen në lidhje me gjenerimin e kodit duke përdorur inteligjencën artificiale (IA), dhe fusha e përpunimit të gjuhës natyrore (NLP) ka hapur rrugën për një seri IA-sh që gjenerojnë kod në gjuhë të ndryshme programimi.
Midis këtyre, mund të veçojmë GitHub Copilot, AlphaCode dhe Codex, dhe tani mund të shtojmë një zgjidhje të re nga studiuesit në Universitetin Carnegie Mellon të cilët së fundmi prezantuan "PolyCoder", një gjenerator kodi bazuar në modelin gjuhësor GPT-2 të OpenAI që u trajnua në një bazë të dhënash kodi prej 249 GB në 12 gjuhë programimi.
Rreth PolyCoder
Autorët e PolyCoder pretendojnë se është i aftë të shkruajë C me saktësi më të madhe se çdo model i njohur, përfshirë Codex.
Inteligjenca artificiale që gjeneron kod, e cila mund të shkruajë kod burimor në gjuhë të ndryshme programimi nga një mesazh i shpejtë, premton të ulë kostot e zhvillimit të softuerit, duke u lejuar zhvilluesve të përqendrohen në detyra krijuese dhe më pak të përsëritura.
PolyCoder u trajnua duke përdorur të dhëna nga disa depo GitHub, duke mbuluar 12 gjuhë programimi të njohura: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala dhe TypeScript.
Seti i të dhënave të pafiltruar arriti në total 631 GB të dhënash dhe 38,9 milionë skedarë. Ekipi tha se zgjodhi ta trajnonte PolyCoder me GPT-2 për shkak të kufizimeve buxhetore. PolyCoder është i disponueshëm si burim i hapur dhe studiuesit shpresojnë se mund të demokratizojë kërkimin në fushën e gjenerimit të kodit të inteligjencës artificiale, i cili deri më tani është dominuar nga kompani të financuara mirë.
Studiuesit besojnë se PolyCoder performon më mirë se modelet e tjera në gjenerimin e kodit në gjuhën C. Megjithatë, Codex e ka tejkaluar vazhdimisht atë në gjuhë të tjera. "PolyCoder e tejkalon ndjeshëm Codex dhe të gjitha modelet e tjera në gjuhën C."
“Kur Copilot doli në GitHub verën e kaluar, u bë e qartë se këto modele shumë të mëdha të kodit të gjuhës mund të jenë shumë të dobishme për të ndihmuar zhvilluesit dhe për të rritur produktivitetin e tyre. Por asnjë model as afër kësaj shkalle nuk ishte i disponueshëm publikisht”, thanë studiuesit për VentureBeat me email. “Pra, [PolyCoder] filloi me Vincent duke u përpjekur të kuptonte se cili ishte modeli më i madh që mund të trajnohej në serverin tonë laboratorik, i cili përfundoi me 2700 miliardë parametra… dhe ai model ishte një ligë përpara modeleve të tjera të orientuara nga kodi që kishim . ishin të disponueshme publikisht në atë kohë.”
“ Kur krahasohen vetëm modelet me burim të hapur, PolyCoder tejkalon modelin GPT-Neo 2.7B me madhësi të ngjashme në C, JavaScript, Rust, Scala dhe TypeScript”, vërejnë ata. “Në 11 gjuhët e tjera, të gjitha modelet e tjera me burim të hapur, përfshirë edhe tonën, janë dukshëm më të këqija (ngatërrim më të madh) se Codex”, shtuan studiuesit e CMU-së.
Me këtë, PolyCoder pozicionohet si një zgjidhje shumë interesante, pasi ndërsa laboratorët kërkimorë si OpenAI i Elon Musk dhe DeepMind i Alphabet kanë zhvilluar AI të fuqishme që gjeneron kode, shumë nga sistemet më të suksesshme nuk janë të disponueshme në burim të hapur. Kompanitë me të ardhura të ulëta nuk kanë akses në të dhe kjo situatë kufizon kërkimet e tyre në terren.
Për shembull, të dhënat e trajnimit nga OpenAI Codex, i cili fuqizon funksionin Copilot të GitHub, nuk janë bërë publike, duke i penguar studiuesit të përsosin modelin e AI ose të studiojnë disa aspekte të tij, si ndërveprueshmëria.
"Kompanitë e mëdha të teknologjisë nuk po publikojnë modelet e tyre, gjë që me të vërtetë po pengon kërkimin shkencor dhe demokratizimin e modeleve të tilla të mëdha të kodit të gjuhës," thanë studiuesit. “Në një farë mase, ne shpresojmë që përpjekjet tona me burim të hapur do të bindin të tjerët të bëjnë të njëjtën gjë. Por tabloja e madhe është se komuniteti duhet të jetë në gjendje t'i trajnojë këto modele vetë. Modeli ynë shtyu kufirin e asaj që mund të stërvitni në një server të vetëm – çdo gjë më e madhe kërkon një grup serverësh, gjë që rrit në mënyrë dramatike koston.”
Së fundmi, nëse jeni të interesuar të mësoni më shumë rreth kësaj , mund t'i gjeni detajet në lidhjen e mëposhtme.