2020年5月，由馬斯克和薩姆奧特曼共同創立的人工智慧公司OpenAI發布了GPT-3，當時被譽為領先的神經網路。作為最先進的語言模型，GPT-3包含1750億個參數，而其前身GPT-2只有1,5億個參數。
GPT-3超越了微軟的圖靈自然語言生成（Turing Natural Language Generation）模型，後者擁有 17 億個參數，此前保持著最大神經網路的紀錄。這款語言模型備受讚譽、批評，甚至遭到嚴格審查；同時，它也找到了許多新的有趣應用。
現在有傳言稱， OpenAI 的下一代語言模型 GPT-4 可能很快就會發布。
雖然尚未公佈發布日期，但OpenAI 已經給出了 GPT-3 的繼任者的一些特徵，由此許多人可能會預期 GPT-4 不會比 GPT-3 更大，但應該使用更多的計算資源，從而限制其對環境的影響。
在會議期間，奧特曼暗示，與普遍認知相反，GPT-4 不會是最大的語言模型。雖然模型肯定會比前幾代神經網路更大，但規模並非其決定性特徵。
首先，公司已經意識到，使用模型大小作為提高性能的指標並不是唯一或最好的方法。 據報導，在 2020 年，Jared Kaplan 和他的 OpenAI 同事得出結論，當計算預算的增加主要用於增加參數數量時，性能會得到最大的提升，遵循冪律關係。 谷歌、英偉達、微軟、OpenAI、DeepMind 和其他開發語言模型的公司從表面上理解了這些指導方針。
但是 MT-NLG（Megatron-Turing NLG，英偉達和微軟去年構建的具有 530 億個參數的神經網絡）雖然很棒，但在性能方面並不是最好的。 事實上，它在任何基準類別中都沒有被評為最佳。 較小的模型，如 Gopher 或 Chinchilla（70 億個參數），只是它們大小的一小部分，在所有任務中都比 MT-NLG 好得多。 因此，很明顯模型的大小並不是導致更好地理解語言的唯一因素。
Altman指出，語言模型在最佳化方面有一個關鍵的限制。訓練成本極為高昂，企業必須在準確性和成本之間做出妥協。這往往導致模型嚴重欠最佳化。
首席執行官報告說，GPT-3 只接受過一次培訓，儘管在其他情況下可能會導致重新培訓的一些錯誤。 因此，據報導，OpenAI 決定反對它，因為成本太高，這使研究人員無法為模型找到最佳的超參數集。
高培訓成本的另一個後果是模型行為的分析將受到限制。 根據一份報告，當 AI 研究人員得出結論認為模型大小是提高性能最相關的變量時，他們沒有考慮訓練令牌的數量，即提供給模型的數據量。 這將需要大量的計算資源。 據報導，科技公司遵循了研究人員的發現，因為這是他們擁有的最好的。
Altman表示，GPT-4的計算量將遠遠超越其前代產品。 OpenAI預計將在GPT-4中實現一些與最佳化相關的理念，但由於預算限制，具體實現程度尚不確定。
然而，奧特曼的言論表明，OpenAI應該將重點放在優化模型規模以外的其他變數上。找到最佳的超參數組合、最優的模型規模和參數數量，可以顯著提升所有基準測試的效能。
據分析師稱，如果將這些方法組合成一個模型，所有對語言模型的預測都會崩潰。 Altman 還表示，人們不會相信模型可以做得更好而不一定要更大。 這可能表明擴大規模的努力現在已經結束。
據說OpenAI在解決AI對齊問題上下了不少功夫：如何讓語言模型遵循人類意圖，堅持人類價值觀？
分析人士表示，這不僅是一個難題（我們如何讓 AI 準確理解我們想要的東西？），而且是一個哲學問題（沒有通用的方法可以讓 AI 與人類保持一致，因為人類價值觀的可變性從一個組到另一個組是巨大的，而且經常發生衝突）。
最後，如果您有興趣了解更多相關信息，可以點擊以下連結查閱原文。