2020 年 3 月，由 Elon Musk 和 Sam Altman 共同创立的 AI 公司 OpenAI 发布了 GPT-XNUMX，然后被呈现为当下的伟大神经网络。 最先进的语言模型， GPT-3 包含 175 亿个参数 与其前身 GPT-1,5 的 2 亿个参数相比。
GPT-3 击败 NLG 图灵模型 来自微软的（图灵自然语言生成），具有 17 亿个参数，之前保持着最大神经网络的记录。 语言模型曾被惊叹、批评甚至审查； 它还发现了新的有趣的应用。
现在 有传言称 GPT-4 的发布，OpenAI 语言模型的下一个版本，可能即将推出。
虽然 尚未公布发售日期， OpenAI 给出了一些关于 GPT-3 继任者的特征的迹象，许多人可能会期望，GPT-4 不应该比 GPT-3 大，而是应该使用更多的计算资源，这将限制其对环境的影响。
会议期间， 奥特曼暗示，与流行的看法相反， GPT-4 不会是最大的语言模型. 该模型无疑会比前几代神经网络更大，但大小不会是它的标志。
首先，公司已经意识到，使用模型大小作为提高性能的指标并不是唯一或最好的方法。 据报道，在 2020 年，Jared Kaplan 和他的 OpenAI 同事得出结论，当计算预算的增加主要用于增加参数数量时，性能会得到最大的提升，遵循幂律关系。 谷歌、英伟达、微软、OpenAI、DeepMind 和其他开发语言模型的公司从表面上理解了这些指导方针。
但是 MT-NLG（Megatron-Turing NLG，英伟达和微软去年构建的具有 530 亿个参数的神经网络）虽然很棒，但在性能方面并不是最好的。 事实上，它在任何基准类别中都没有被评为最佳。 较小的模型，如 Gopher 或 Chinchilla（70 亿个参数），只是它们大小的一小部分，在所有任务中都比 MT-NLG 好得多。 因此，很明显模型的大小并不是导致更好地理解语言的唯一因素。
根据 Altman 的说法，语言模型受到严重限制。 在优化方面。 培训将非常昂贵，以至于公司不得不在准确性和成本之间做出妥协。 这通常会导致模型优化不佳。
首席执行官报告说，GPT-3 只接受过一次培训，尽管在其他情况下可能会导致重新培训的一些错误。 因此，据报道，OpenAI 决定反对它，因为成本太高，这使研究人员无法为模型找到最佳的超参数集。
高培训成本的另一个后果是模型行为的分析将受到限制。 根据一份报告，当 AI 研究人员得出结论认为模型大小是提高性能最相关的变量时，他们没有考虑训练令牌的数量，即提供给模型的数据量。 这将需要大量的计算资源。 据报道，科技公司遵循了研究人员的发现，因为这是他们拥有的最好的。
奥特曼 表示 GPT-4 将使用比其前身更多的计算. OpenAI 有望在 GPT-4 中实现与优化相关的想法，尽管由于预算未知，无法预测到何种程度。
然而， Altman 表明 OpenAI 应该专注于优化模型大小以外的变量。. 找到最佳的超参数集、最佳模型大小和参数数量可能会在所有基准测试中带来令人难以置信的改进。
据分析师称，如果将这些方法组合成一个模型，所有对语言模型的预测都会崩溃。 Altman 还表示，人们不会相信模型可以做得更好而不一定要更大。 这可能表明扩大规模的努力现在已经结束。
据说OpenAI在解决AI对齐问题上下了不少功夫：如何让语言模型遵循人类意图，坚持人类价值观？
分析人士表示，这不仅是一个难题（我们如何让 AI 准确理解我们想要的东西？），而且是一个哲学问题（没有通用的方法可以让 AI 与人类保持一致，因为人类价值观的可变性从一个组到另一个组是巨大的，而且经常发生冲突）。
最后 如果您有兴趣了解更多有关它的信息你可以参考原帖 在下面的链接中。