최근 인공지능(AI)을 활용한 코드 생성 과 관련된 다양한 솔루션들이 등장하고 있으며 , 특히 자연어 처리(NLP) 분야는 여러 프로그래밍 언어에서 코드를 생성하는 AI들의 발전을 위한 길을 열었습니다.
이러한 도구들 중에는 GitHub Copilot, AlphaCode, Codex 등이 있으며, 최근 카네기 멜론 대학교 연구진 이 OpenAI의 GPT-2 언어 모델을 기반으로 12개 프로그래밍 언어로 작성된 249GB 규모의 코드 데이터베이스를 학습시킨 코드 생성기 "PolyCoder"를 발표했습니다.
폴리코더 정보
PolyCoder의 개발자들은 이 프로그램이 Codex를 포함한 기존의 어떤 모델보다 더 높은 정확도로 C 코드를 작성할 수 있다고 주장합니다.
명령어를 통해 다양한 프로그래밍 언어로 소스 코드를 생성할 수 있는 코드 생성 AI는 소프트웨어 개발 비용을 절감하는 동시에 개발자들이 창의적이고 반복적이지 않은 작업에 집중할 수 있도록 해줄 것으로 기대됩니다.
PolyCoder는 C, C#, C++, Go, Java, JavaScript, PHP, Python, Ruby, Rust, Scala, TypeScript 등 12개의 인기 프로그래밍 언어를 다루는 여러 GitHub 저장소의 데이터를 사용하여 학습되었습니다 .
필터링되지 않은 데이터 세트는 총 631GB의 데이터와 38,9만 개의 파일로 구성되었습니다. 연구팀은 예산 제약으로 인해 GPT-2를 사용하여 PolyCoder를 학습시키기로 결정했다고 밝혔습니다. PolyCoder는 오픈 소스로 제공되며, 연구진은 이를 통해 지금까지 자금력이 풍부한 기업들이 주도해 온 AI 코드 생성 분야의 연구가 대중화되기를 기대하고 있습니다.
연구진은 PolyCoder가 C 언어 코드 생성에서 다른 모델들보다 우수한 성능을 보인다고 평가합니다. 하지만 Codex는 다른 언어에서는 일관되게 PolyCoder보다 뛰어난 성능을 보여왔습니다. "PolyCoder는 C 언어에서 Codex를 비롯한 모든 모델보다 훨씬 우수한 성능을 나타냅니다."
“지난 여름 Copilot이 GitHub에 나왔을 때 이러한 매우 큰 언어 코드 모델이 개발자를 돕고 생산성을 높이는 데 매우 유용할 수 있다는 것이 분명해졌습니다. 그러나 그 규모에 가까운 모델도 공개적으로 사용할 수 없었습니다." 연구원들이 이메일로 VentureBeat에 말했습니다. "그래서 [PolyCoder]는 Vincent가 우리 연구실 서버에서 훈련할 수 있는 가장 큰 모델이 무엇인지 알아내려고 시작했고, 결국 2700억 개의 매개변수가 되었습니다... 그리고 그 모델은 우리가 가진 다른 코드 지향 모델보다 한 단계 앞서 있었습니다. . 당시 공개적으로 사용 가능했습니다."
" 오픈소스 모델만 비교했을 때, PolyCoder는 C, JavaScript, Rust, Scala, TypeScript에서 비슷한 크기의 GPT-Neo 2.7B 모델보다 우수한 성능을 보였습니다."라고 연구진은 지적했습니다. "나머지 11개 언어에서는 PolyCoder를 포함한 모든 오픈소스 모델이 Codex보다 훨씬 성능이 떨어졌습니다(퍼플렉서티가 더 높았습니다)."라고 CMU 연구진은 덧붙였습니다.
Elon Musk의 OpenAI 및 Alphabet의 DeepMind와 같은 연구소에서 강력한 코드 생성 AI를 개발했지만 가장 성공적인 시스템 중 상당수가 오픈 소스에서 사용할 수 없기 때문에 PolyCoder는 매우 흥미로운 솔루션으로 자리 잡았습니다. 저소득 기업은 이에 접근할 수 없으며 이러한 상황은 현장에서의 연구를 제한합니다.
예를 들어, GitHub의 Copilot 기능을 지원하는 OpenAI Codex의 교육 데이터는 공개되지 않아 연구원이 AI 모델을 개선하거나 상호 운용성과 같은 특정 측면을 연구하는 것을 방지합니다.
연구원들은 "대형 기술 회사들은 그들의 모델을 공개적으로 발표하지 않고 있으며, 이는 과학 연구와 이러한 대규모 언어 코드 모델의 민주화를 실제로 가로막고 있습니다."라고 말했습니다. “어느 정도까지는 우리의 오픈 소스 노력이 다른 사람들도 그렇게 하도록 설득할 수 있기를 바랍니다. 그러나 큰 그림은 커뮤니티가 이러한 모델을 자체적으로 훈련할 수 있어야 한다는 것입니다. 우리 모델은 단일 서버에서 훈련할 수 있는 한계를 뛰어 넘었습니다. 더 큰 것은 서버 풀이 필요하므로 비용이 크게 증가합니다."
마지막으로, 이 주제에 대해 더 자세히 알고 싶으시다면 다음 링크 에서 자세한 내용을 확인하실 수 있습니다.