2020年5月，由埃隆·马斯克和萨姆·奥特曼联合创立的人工智能公司OpenAI发布了GPT-3，当时被誉为领先的神经网络。作为最先进的语言模型，GPT-3包含1750亿个参数，而其前身GPT-2只有1,5亿个参数。
GPT-3超越了微软的图灵自然语言生成（Turing Natural Language Generation）模型，后者拥有 17 亿个参数，此前保持着最大神经网络的纪录。这款语言模型备受赞誉、批评，甚至遭到严格审查；同时，它也找到了许多新的有趣应用。
现在有传言称， OpenAI 的下一代语言模型 GPT-4 可能很快就会发布。
虽然尚未公布发布日期，但OpenAI 已经给出了 GPT-3 的继任者的一些特征，由此许多人可能会预期 GPT-4 不会比 GPT-3 更大，但应该使用更多的计算资源，从而限制其对环境的影响。
在会议期间，奥特曼暗示，与普遍认知相反，GPT-4 不会是最大的语言模型。虽然该模型肯定会比前几代神经网络更大，但规模并非其决定性特征。
首先，公司已经意识到，使用模型大小作为提高性能的指标并不是唯一或最好的方法。 据报道，在 2020 年，Jared Kaplan 和他的 OpenAI 同事得出结论，当计算预算的增加主要用于增加参数数量时，性能会得到最大的提升，遵循幂律关系。 谷歌、英伟达、微软、OpenAI、DeepMind 和其他开发语言模型的公司从表面上理解了这些指导方针。
但是 MT-NLG（Megatron-Turing NLG，英伟达和微软去年构建的具有 530 亿个参数的神经网络）虽然很棒，但在性能方面并不是最好的。 事实上，它在任何基准类别中都没有被评为最佳。 较小的模型，如 Gopher 或 Chinchilla（70 亿个参数），只是它们大小的一小部分，在所有任务中都比 MT-NLG 好得多。 因此，很明显模型的大小并不是导致更好地理解语言的唯一因素。
Altman指出，语言模型在优化方面存在一个关键的局限性。训练成本极其高昂，企业不得不在准确性和成本之间做出妥协。这往往导致模型严重欠优化。
首席执行官报告说，GPT-3 只接受过一次培训，尽管在其他情况下可能会导致重新培训的一些错误。 因此，据报道，OpenAI 决定反对它，因为成本太高，这使研究人员无法为模型找到最佳的超参数集。
高培训成本的另一个后果是模型行为的分析将受到限制。 根据一份报告，当 AI 研究人员得出结论认为模型大小是提高性能最相关的变量时，他们没有考虑训练令牌的数量，即提供给模型的数据量。 这将需要大量的计算资源。 据报道，科技公司遵循了研究人员的发现，因为这是他们拥有的最好的。
Altman表示，GPT-4的计算量将远超其前代产品。OpenAI预计将在GPT-4中实现一些与优化相关的理念，但由于预算限制，具体实现程度尚不确定。
然而，奥特曼的言论表明，OpenAI应该将重点放在优化模型规模以外的其他变量上。找到最佳的超参数组合、最优的模型规模和参数数量，可以显著提升所有基准测试的性能。
据分析师称，如果将这些方法组合成一个模型，所有对语言模型的预测都会崩溃。 Altman 还表示，人们不会相信模型可以做得更好而不一定要更大。 这可能表明扩大规模的努力现在已经结束。
据说OpenAI在解决AI对齐问题上下了不少功夫：如何让语言模型遵循人类意图，坚持人类价值观？
分析人士表示，这不仅是一个难题（我们如何让 AI 准确理解我们想要的东西？），而且是一个哲学问题（没有通用的方法可以让 AI 与人类保持一致，因为人类价值观的可变性从一个组到另一个组是巨大的，而且经常发生冲突）。
最后，如果您有兴趣了解更多相关信息，可以点击以下链接查阅原文。