Obecnie Zaczęliśmy dostrzegać wzrost różne rozwiązania, które zaczynają oferować w związku z generowanie kodu z wykorzystaniem sztucznej inteligencji (AI) i jest to, że dziedzina przetwarzania języka naturalnego (NLP) utorowała drogę dla serii AI generujących kod w różnych językach programowania.
Z którego możemy wyróżnić na przykład GitHub Copilot, AlphaCode i Codex i do którego możemy teraz dodać nowe rozwiązanie z ręki naukowcy z Uniwersytetu Carnegie Mellon kto niedawno wprowadzony „PolyCoder”, generator kodu oparty na modelu języka OpenAI GPT-2, który został wyszkolony na bazie kodów o wielkości 249 GB w 12 językach programowania.
O PolyCoderze
Autorzy PolyCodera twierdzą, że jest potrafi pisać w C dokładniej niż jakikolwiek znany model, w tym Codex.
Kod generujący AI, potrafi pisać kod źródłowy w różnych językach programowania Od razu obiecuje obniżyć koszty tworzenia oprogramowania, jednocześnie pozwalając programistom skupić się na mniej powtarzalnych, kreatywnych zadaniach.
PolyCoder był zasilany danymi z różnych repozytoriów GitHub, obejmujących 12 popularnych języków programowania: C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala i TypeScript.
Niefiltrowany zestaw danych obejmował łącznie 631 GB danych i 38,9 mln plików. Zespół powiedział, że zdecydował się na szkolenie PolyCodera z GPT-2 ze względu na ograniczenia budżetowe. PolyCoder jest dostępny jako open source, a naukowcy mają nadzieję, że może zdemokratyzować badania w dziedzinie generowania kodu AI, który do tej pory był zdominowany przez dobrze finansowane firmy.
Naukowcy uważają, że PolyCoder działa lepiej niż inne modele w generowaniu kodu w języku C. Jednak Codex zawsze przewyższał go w innych językach. „PolyCoder znacznie przewyższa Codex i wszystkie inne modele w języku C.
„Kiedy Copilot pojawił się na GitHub zeszłego lata, stało się jasne, że te bardzo duże modele kodu językowego mogą być bardzo przydatne w pomaganiu programistom i zwiększaniu ich produktywności. Ale żaden model nawet zbliżony do tej skali nie był publicznie dostępny” – powiedzieli naukowcy VentureBeat pocztą elektroniczną. „Więc [PolyCoder] zaczął od Vincenta, który próbował ustalić, jaki był największy model, który można było wytrenować na naszym serwerze laboratoryjnym, który ostatecznie zawierał 2700 miliarda parametrów… i ten model wyprzedził o ligę inne modele zorientowane na kod, które mieliśmy były publicznie dostępne w tamtym czasie”.
Porównując tylko modele open source, PolyCoder przewyższa podobnej wielkości model GPT-Neo 2.7B w językach C, JavaScript, Rust, Scala i TypeScript”. oni wskazują „W pozostałych 11 językach wszystkie inne modele open source, w tym nasz własny, są znacznie gorsze (większe zakłopotanie) niż Codex” – dodali naukowcy z CMU.
Dzięki temu PolyCoder jest pozycjonowany jako bardzo interesujące rozwiązanie, ponieważ podczas gdy laboratoria badawcze, takie jak OpenAI Elona Muska i DeepMind firmy Alphabet, opracowały potężną sztuczną inteligencję do generowania kodu, wiele z najbardziej udanych systemów nie jest dostępnych w otwartym kodzie źródłowym. Firmy o niskich dochodach nie mają do niego dostępu, a sytuacja ta ogranicza ich badania w tej dziedzinie.
Na przykład dane treningowe z OpenAI Codex, które zasilają funkcję Copilot w GitHub, nie zostały upublicznione, co uniemożliwia naukowcom dopracowanie modelu AI lub zbadanie pewnych jego aspektów, takich jak interoperacyjność.
„Duże firmy technologiczne nie udostępniają publicznie swoich modeli, co naprawdę wstrzymuje badania naukowe i demokratyzację tak dużych modeli kodu językowego” – powiedzieli naukowcy. „Do pewnego stopnia mamy nadzieję, że nasze wysiłki na rzecz otwartego oprogramowania przekonają innych do tego samego. Ale ogólny obraz jest taki, że społeczność powinna być w stanie samodzielnie szkolić te modele. Nasz model przesunął granice tego, co można trenować na jednym serwerze — wszystko, co większe, wymaga puli serwerów, co dramatycznie zwiększa koszty”.
W końcu jeśli chcesz dowiedzieć się więcej na ten temat, możesz sprawdzić szczegóły w następujący link.