该软件可以帮助开发人员引导生成式 AI 应用程序创建令人印象深刻的文本响应，并保持在正轨上。
近日有爆料称 英伟达发布新软件，叫 NeMo 护栏， 帮助开发人员和企业引导和控制他们的 AI 的生成响应。
NeMo 护栏 旨在制作人工智能聊天机器人和其他应用程序 从广泛的语言模型（LLM）创建 准确、适当、相关且安全。 换句话说， 将帮助用户防止 AI 模型指示不正确的事实，跑题，谈论危险的话题或打开安全漏洞。 该公告暗示 NeMo Guardrails 可以帮助解决 AI 聊天机器人的幻觉问题，但许多人对此持怀疑态度。
尽管大肆宣传，但像 OpenAI 的 GPT-4 这样的大型文本生成 AI 模型确实犯了很多错误，其中一些是有害的。 正如我们所知，人工智能是从数 TB 的数据中训练出来的，以创建能够创建文本块的程序，这些文本块被读取时就好像它们是由人类编写的一样。
但他们也倾向于编造事情，从业者通常称之为“幻觉”。 该技术的早期应用，例如总结文档或回答基本问题，必须尽量减少“幻觉”才能发挥作用。
这些人工智能模型的创造者声称要采取行动 解决问题，例如设置过滤器和人工调解员团队以在报告问题时解决问题。 但没有单一的解决方案。
即使是当今最好的模型也容易受到偏见、毒性和恶意攻击的影响。 为了寻求“更安全”的 LLM，Nvidia 发布了 NeMo Guardrails， 一个开源工具集，旨在使 AI 驱动的应用程序更加准确、合适、相关和安全。 Nvidia 表示，其工具是多年研究的成果。
据英伟达称, NeMo 护栏s 是位于用户和 LLM 之间的软件层 或其他人工智能工具，因为 在模型产生不良结果之前将其移除，并防止模型处理不正确的指示。
Nvidia 应用研究副总裁 Jonathan Cohen 在一份声明中解释道：
“如果你有一个客户服务聊天机器人，旨在谈论你的产品，你可能不希望它回答有关我们竞争对手的问题。 您想监视对话。 如果发生这种情况，您可以将对话引向您喜欢的话题。”
NeMo Guardrails 包括代码、示例和文档，可为生成文本和语音的 AI 应用程序增加安全性。 Nvidia 表示，该工具包旨在与大多数 LLM 一起使用，允许开发人员仅使用几行代码来创建规则。
“最终，开发人员可以使用 NeMo Guardrails 控制超出其应用程序限制的内容。 对于他们的用例，他们可以开发太宽或太窄的栏杆，”科恩说。
NeMo 护栏 允许开发人员定义三种类型的限制：
- 安防措施 主题防止应用程序被重新路由到不需要的域。 例如，他们阻止客户服务助理回答有关天气的问题。
- 安防措施， 它们确保应用程序以准确和适当的信息响应。 他们可以过滤掉不需要的语言，并确保只引用可靠的来源；
- 应用程序仅限于与已知安全的外部第三方应用程序建立连接。
根据 Nvidia 的说法，NeMo Guardrails 可以使用 LLM 通过要求另一个 LLM 检查第一个 LLM 的响应来检测幻觉。
如果模型没有找到任何匹配的答案，它就会返回“我不知道”。 尽管该方法看起来很实用，但一些评论家对此表示怀疑。 在这方面，Nvidia 已经认识到 NeMo Guardrails 并不是针对语言模型缺陷的万能解决方案。 这家总部位于加利福尼亚州圣克拉拉的巨头表示，其新工具集并非没有缺陷。 换句话说，NeMo Guardrails 不会涵盖所有内容。
科恩也是n 指出 NeMo Guardrails 与足够好的模型一起工作得更好 遵循 ChatGPT 等说明，这些说明使用流行的 LangChain 框架来构建 AI 驱动的应用程序。
这排除了一些现有的开源选项。 除了有关该工具有效性的问题外，还应注意的是 Nvidia 发布 NeMo Guardrails 并非纯粹出于好意。 它是公司 NeMo 框架的一部分，可通过 Nvidia 的企业 AI 软件套件及其完全托管的 NeMo 云服务获得。
最后，如果您有兴趣能够了解更多，可以在 以下链接。