2020 年 3 月，由 Elon Musk 和 Sam Altman 共同創立的 AI 公司 OpenAI 發布了 GPT-XNUMX，然後被呈現為當下的偉大神經網絡。 最先進的語言模型， GPT-3 包含 175 億個參數 與其前身 GPT-1,5 的 2 億個參數相比。
GPT-3 擊敗 NLG 圖靈模型 來自微軟的（圖靈自然語言生成），具有 17 億個參數，之前保持著最大神經網絡的記錄。 語言模型曾被驚嘆、批評甚至審查； 它還發現了新的有趣的應用。
現在 有傳言稱 GPT-4 的發布，OpenAI 語言模型的下一個版本，可能即將推出。
雖然 尚未公佈發售日期， OpenAI 給出了一些關於 GPT-3 繼任者的特徵的跡象，許多人可能會期望，GPT-4 不應該比 GPT-3 大，而是應該使用更多的計算資源，這將限制其對環境的影響。
會議期間， 奧特曼暗示，與流行的看法相反， GPT-4 不會是最大的語言模型. 該模型無疑會比前幾代神經網絡更大，但大小不會是它的標誌。
首先，公司已經意識到，使用模型大小作為提高性能的指標並不是唯一或最好的方法。 據報導，在 2020 年，Jared Kaplan 和他的 OpenAI 同事得出結論，當計算預算的增加主要用於增加參數數量時，性能會得到最大的提升，遵循冪律關係。 谷歌、英偉達、微軟、OpenAI、DeepMind 和其他開發語言模型的公司從表面上理解了這些指導方針。
但是 MT-NLG（Megatron-Turing NLG，英偉達和微軟去年構建的具有 530 億個參數的神經網絡）雖然很棒，但在性能方面並不是最好的。 事實上，它在任何基準類別中都沒有被評為最佳。 較小的模型，如 Gopher 或 Chinchilla（70 億個參數），只是它們大小的一小部分，在所有任務中都比 MT-NLG 好得多。 因此，很明顯模型的大小並不是導致更好地理解語言的唯一因素。
根據 Altman 的說法，語言模型受到嚴重限制。 在優化方面。 培訓將非常昂貴，以至於公司不得不在準確性和成本之間做出妥協。 這通常會導致模型優化不佳。
首席執行官報告說，GPT-3 只接受過一次培訓，儘管在其他情況下可能會導致重新培訓的一些錯誤。 因此，據報導，OpenAI 決定反對它，因為成本太高，這使研究人員無法為模型找到最佳的超參數集。
高培訓成本的另一個後果是模型行為的分析將受到限制。 根據一份報告，當 AI 研究人員得出結論認為模型大小是提高性能最相關的變量時，他們沒有考慮訓練令牌的數量，即提供給模型的數據量。 這將需要大量的計算資源。 據報導，科技公司遵循了研究人員的發現，因為這是他們擁有的最好的。
奧特曼 表示 GPT-4 將使用比其前身更多的計算. OpenAI 有望在 GPT-4 中實現與優化相關的想法，儘管由於預算未知，無法預測到何種程度。
然而， Altman 表明 OpenAI 應該專注於優化模型大小以外的變量。. 找到最佳的超參數集、最佳模型大小和參數數量可能會在所有基準測試中帶來令人難以置信的改進。
據分析師稱，如果將這些方法組合成一個模型，所有對語言模型的預測都會崩潰。 Altman 還表示，人們不會相信模型可以做得更好而不一定要更大。 這可能表明擴大規模的努力現在已經結束。
據說OpenAI在解決AI對齊問題上下了不少功夫：如何讓語言模型遵循人類意圖，堅持人類價值觀？
分析人士表示，這不僅是一個難題（我們如何讓 AI 準確理解我們想要的東西？），而且是一個哲學問題（沒有通用的方法可以讓 AI 與人類保持一致，因為人類價值觀的可變性從一個組到另一個組是巨大的，而且經常發生衝突）。
終於 如果您有興趣了解更多信息你可以參考原帖 在下面的鏈接中。