일론 머스크와 샘 알트만이 공동 설립한 AI 기업 오픈AI는 2020년 5월, 당시 최고의 신경망으로 평가받던 GPT-3를 공개했습니다. 최첨단 언어 모델인 GPT-3 는 이전 모델인 GPT-2의 1,5억 개 매개변수에 비해 훨씬 많은 1750억 개의 매개변수를 포함하고 있습니다 .
GPT-3는 17억 개의 매개변수를 가진 마이크로소프트의 튜링 자연어 생성(NLG) 모델을 넘어섰으며, 이전까지 가장 큰 신경망이라는 기록을 보유했습니다. 이 언어 모델은 찬사와 비판, 그리고 면밀한 검토를 받아왔지만, 새롭고 흥미로운 응용 분야도 발견되었습니다.
최근 오픈AI의 차세대 언어 모델 인 GPT-4가 곧 출시될 것이라는 소문이 돌고 있습니다 .
아직 출시일은 발표되지 않았지만, OpenAI는 GPT-3의 후속 버전인 GPT-4의 특징에 대한 몇 가지 단서를 제공했습니다. 이를 통해 많은 사람들이 GPT-4가 GPT-3보다 크기는 크지 않으면서 더 많은 컴퓨팅 자원을 활용하여 환경에 미치는 영향을 최소화할 것으로 예상할 수 있습니다.
이번 세션에서 알트만은 일반적인 통념과는 달리 GPT-4가 가장 큰 언어 모델이 아닐 것이라고 암시했습니다 . 이 모델은 이전 세대의 신경망보다 확실히 크겠지만, 크기가 GPT-4를 정의하는 특징은 아닐 것이라는 설명입니다.
첫째, 기업은 모델 크기를 지표로 사용하여 성능을 개선하는 것이 유일한 또는 최선의 방법이 아님을 깨달았습니다. 2020년 OpenAI의 Jared Kaplan과 동료들은 멱법칙 관계에 따라 컴퓨팅 예산 증가가 주로 매개변수 수를 늘리는 데 할당될 때 성능이 가장 향상된다는 결론을 내렸습니다. Google, Nvidia, Microsoft, OpenAI, DeepMind 및 언어 모델을 개발하는 기타 회사는 이러한 지침을 액면 그대로 받아들였습니다.
그러나 MT-NLG(Megatron-Turing NLG, Nvidia와 Microsoft가 작년에 530억 개의 매개변수로 구축한 신경망)는 그 자체로 성능면에서 최고가 아닙니다. 사실, 그것은 어떤 벤치마크 카테고리에서도 최고로 평가되지 않았습니다. Gopher 또는 Chinchilla와 같은 더 작은 모델(70억 개의 매개변수)은 크기의 일부에 불과하며 모든 작업에서 MT-NLG보다 훨씬 낫습니다. 따라서 모델의 크기가 언어에 대한 더 나은 이해로 이어지는 유일한 요소가 아니라는 것이 분명해졌습니다.
알트만에 따르면, 언어 모델은 최적화 측면에서 치명적인 한계를 가지고 있습니다. 학습 비용이 너무 많이 들기 때문에 기업들은 정확도와 비용 사이에서 타협해야 합니다. 이로 인해 종종 모델이 심각하게 최적화되지 못하는 경우가 발생합니다.
CEO는 GPT-3이 다른 경우 재교육으로 이어질 수 있는 몇 가지 오류에도 불구하고 한 번만 교육을 받았다고 보고했습니다. 이 때문에 OpenAI는 감당할 수 없는 비용으로 인해 연구원들이 모델에 가장 적합한 하이퍼파라미터 세트를 찾지 못해 이를 거부한 것으로 알려졌습니다.
높은 훈련 비용의 또 다른 결과는 모델 행동 분석이 제한된다는 것입니다. 한 보고서에 따르면 AI 연구자들은 모델 크기가 성능 향상과 가장 관련이 있는 변수라고 결론을 내릴 때 훈련 토큰의 수, 즉 모델에 제공되는 데이터의 양을 고려하지 않았다. 이를 위해서는 엄청난 양의 컴퓨팅 리소스가 필요했을 것입니다. 기술 회사는 그들이 가진 최고였기 때문에 연구원의 발견을 따랐다고 합니다.
알트만은 GPT-4가 이전 버전보다 훨씬 더 많은 연산 능력을 사용할 것이라고 말했습니다 . 오픈AI는 GPT-4에 최적화 관련 아이디어를 구현할 것으로 예상되지만, 예산 문제로 구현 범위는 불확실합니다.
하지만 알트만의 발언은 OpenAI가 모델 크기 외에도 다른 변수들을 최적화하는 데 집중해야 함을 시사합니다 . 최적의 하이퍼파라미터 조합, 최적의 모델 크기, 그리고 파라미터 개수를 찾는다면 모든 벤치마크에서 놀라운 성능 향상을 이끌어낼 수 있을 것입니다.
분석가에 따르면 이러한 접근 방식이 단일 모델로 결합되면 언어 모델에 대한 모든 예측이 무너질 것입니다. Altman은 또한 사람들이 더 큰 모델 없이는 얼마나 더 나은 모델이 될 수 있는지 믿지 않을 것이라고 말했습니다. 현재로서는 스케일링 노력이 끝났다는 의미일 수 있습니다.
OpenAI는 AI 정렬 문제를 해결하기 위해 많은 노력을 기울인 것으로 알려졌습니다. 언어 모델이 인간의 의도를 따르고 인간의 가치를 준수하도록 하는 방법은 무엇입니까?
분석가들은 이것이 어려운 수학적 문제일 뿐만 아니라(AI가 우리가 원하는 것을 정확히 이해하게 하려면 어떻게 해야 합니까?) 철학적인 문제이기도 합니다(AI를 인간과 일치시키는 보편적인 방법은 없습니다. 그룹에서 그룹으로 인간의 가치는 거대하고 종종 충돌합니다).
마지막으로, 이 주제에 대해 더 자세히 알고 싶으시다면 아래 링크에서 원문을 참조하실 수 있습니다 .