2020年5月、イーロン・マスクとサム・アルトマンが共同設立したAI企業OpenAIは、当時最先端のニューラルネットワークとして注目を集めたGPT-3をリリースした。最先端の言語モデルであるGPT-3は、前身のGPT-2の1,5億個のパラメータに対し、1750億個のパラメータを含んでいる。
GPT-3は、17億個のパラメータを持ち、これまで最大のニューラルネットワークとして記録を保持していたマイクロソフトのNLG Turing（チューリング自然言語生成）モデルを凌駕した。この言語モデルは賞賛され、批判され、さらには精査されてきたが、同時に新たな興味深い応用例も見出されている。
そして今、OpenAIの言語モデルの次期バージョンであるGPT-4が間もなくリリースされる可能性があるという噂が浮上している。
リリース日はまだ発表されていないものの、 OpenAIはGPT-3の後継機の特性についていくつかのヒントを示しており、多くの人はGPT-4はGPT-3よりも大規模にはならないものの、より多くの計算リソースを使用することで環境への影響を抑えるだろうと予想している。
セッション中、アルトマン氏は、一般的に信じられていることとは異なり、GPT-4は最大の言語モデルにはならないだろうと示唆した。確かに、このモデルはこれまでの世代のニューラルネットワークよりも大きくなるだろうが、その大きさが決定的な特徴となるわけではない。
まず、企業は、パフォーマンスを向上させるための指標としてモデルサイズを使用することが、それを行うための唯一または最良の方法ではないことを認識しています。 2020年に、Jared Kaplanと彼のOpenAIの同僚は、べき乗則の関係に従って、コンピューティングバジェットの増加が主にパラメーターの数の増加に割り当てられると、パフォーマンスが最も向上すると結論付けたと報告されています。 Google、Nvidia、Microsoft、OpenAI、DeepMind、および言語モデルを開発するその他の企業は、これらのガイドラインを額面どおりに採用しています。
しかし、MT-NLG（Megatron-Turing NLG、昨年NvidiaとMicrosoftによって構築された530億のパラメーターを持つニューラルネットワーク）は、それ自体が優れているため、パフォーマンスに関しては最高ではありません。 実際、どのベンチマークカテゴリでも最高とは評価されていません。 GopherやChinchilla（70億個のパラメーター）のような小さなモデルは、そのサイズのほんの一部であり、すべてのタスクでMT-NLGよりもはるかに優れています。 このように、モデルのサイズだけが言語のより良い理解につながる要因ではないことが明らかになりました。
アルトマン氏によると、言語モデルは最適化に関して重大な制約を抱えている。学習コストがあまりにも高額になるため、企業は精度とコストのどちらかを妥協せざるを得なくなる。その結果、最適化が著しく不十分なモデルが生まれることが多い。
CEOは、他の場合には再訓練につながるいくつかのエラーにもかかわらず、GPT-3は一度だけ訓練されたと報告しました。 このため、OpenAIは、手頃な価格のコストが原因でこれに反対することを決定したと報告されています。これにより、研究者はモデルに最適なハイパーパラメータのセットを見つけることができませんでした。
高いトレーニングコストのもうXNUMXつの結果は、モデルの動作の分析が制限されることです。 あるレポートによると、AI研究者は、モデルサイズがパフォーマンスの向上に最も関連する変数であると結論付けたとき、トレーニングトークンの数、つまりモデルに提供されるデータの量を考慮していませんでした。 これには、膨大な量のコンピューティングリソースが必要でした。 伝えられるところによると、テクノロジー企業は、彼らが持っていた最高のものだったので、研究者の調査結果に従った。
アルトマン氏によると、GPT-4は前モデルよりも大幅に多くの計算量を必要とするという。OpenAIはGPT-4に最適化関連の技術を実装する予定だが、予算の関係でその実装範囲は不透明だ。
しかし、アルトマン氏の発言は、OpenAIがモデルサイズ以外の変数の最適化に注力すべきであることを示している。最適なハイパーパラメータのセット、最適なモデルサイズ、およびパラメータ数を見つけることで、あらゆるベンチマークにおいて驚異的な改善が見込めるだろう。
アナリストによると、これらのアプローチをXNUMXつのモデルに組み合わせると、言語モデルのすべての予測が崩壊します。 アルトマンはまた、人々は必ずしも大きくなければ、どれほど優れたモデルができるか信じられないと述べた。 スケーリングの取り組みは今のところ終わっていることを示唆しているかもしれません。
伝えられるところによると、OpenAIはAIアラインメント問題の解決に多大な努力を払っています：言語モデルを人間の意図に従い、人間の価値観に準拠させる方法は？
アナリストは、これは難しい数学的問題（AIに私たちが望むものを正確に理解させる方法）であるだけでなく、哲学的問題でもあると言います（人間の価値観の変動性のため、AIを人間に合わせる普遍的な方法はありませんグループからグループへは巨大で、しばしば矛盾します）。
最後に、この件についてさらに詳しく知りたい場合は、以下のリンクから原著論文を参照してください。