該軟件可以幫助開發人員引導生成式 AI 應用程序創建令人印象深刻的文本響應，並保持在正軌上。
近日有爆料稱 英偉達發布新軟件，叫 NeMo 護欄， 幫助開發人員和企業引導和控制他們的 AI 的生成響應。
NeMo 護欄 旨在製作人工智能聊天機器人和其他應用程序 從廣泛的語言模型（LLM）創建 準確、適當、相關且安全。 換句話說， 將幫助用戶防止 AI 模型指示不正確的事實，跑題，談論危險的話題或打開安全漏洞。 該公告暗示 NeMo Guardrails 可以幫助解決 AI 聊天機器人的幻覺問題，但許多人對此持懷疑態度。
儘管大肆宣傳，但像 OpenAI 的 GPT-4 這樣的大型文本生成 AI 模型確實犯了很多錯誤，其中一些是有害的。 正如我們所知，人工智能是從數 TB 的數據中訓練出來的，以創建能夠創建文本塊的程序，這些文本塊被讀取時就像人類編寫的一樣。
但他們也傾向於編造事情，從業者通常稱之為“幻覺”。 該技術的早期應用，例如總結文檔或回答基本問題，必須盡量減少“幻覺”才能發揮作用。
這些人工智能模型的創造者聲稱要採取行動 解決問題，例如設置過濾器和人工調解員團隊以在報告問題時解決問題。 但沒有單一的解決方案。
即使是當今最好的模型也容易受到偏見、毒性和惡意攻擊的影響。 為了尋求“更安全”的 LLM，Nvidia 發布了 NeMo Guardrails， 一個開源工具集，旨在使 AI 驅動的應用程序更加準確、合適、相關和安全。 Nvidia 表示，其工具是多年研究的成果。
據英偉達稱, NeMo 護欄s 是位於用戶和 LLM 之間的軟件層 或其他人工智能工具，因為 在模型產生不良結果之前將其移除，並防止模型處理不正確的指示。
Nvidia 應用研究副總裁 Jonathan Cohen 在一份聲明中解釋道：
“如果你有一個客戶服務聊天機器人，旨在談論你的產品，你可能不希望它回答有關我們競爭對手的問題。 你想監控對話。 如果發生這種情況，您可以將對話引向您喜歡的話題。”
NeMo Guardrails 包括代碼、示例和文檔，可為生成文本和語音的 AI 應用程序增加安全性。 Nvidia 表示，該工具包旨在與大多數 LLM 一起使用，允許開發人員僅使用幾行代碼來創建規則。
“最終，開發人員可以使用 NeMo Guardrails 控制超出其應用程序限制的內容。 對於他們的用例，他們可以開發太寬或太窄的欄杆，”科恩說。
NeMo 護欄 允許開發人員定義三種類型的限制：
- 安防措施 主題防止應用程序被重新路由到不需要的域。 例如，他們阻止客戶服務助理回答有關天氣的問題。
- 安防措施， 它們確保應用程序以準確和適當的信息響應。 他們可以過濾掉不需要的語言，並確保只引用可靠的來源；
- 應用程序僅限於與已知安全的外部第三方應用程序建立連接。
根據 Nvidia 的說法，NeMo Guardrails 可以使用 LLM 通過要求另一個 LLM 檢查第一個 LLM 的響應來檢測幻覺。
如果模型沒有找到任何匹配的答案，它就會返回“我不知道”。 儘管該方法看起來很實用，但一些評論家對此表示懷疑。 在這方面，Nvidia 已經認識到 NeMo Guardrails 並不是針對語言模型缺陷的萬能解決方案。 這家總部位於加利福尼亞州聖克拉拉的巨頭表示，其新工具集並非沒有缺陷。 換句話說，NeMo Guardrails 不會涵蓋所有內容。
科恩也是n 指出 NeMo Guardrails 與足夠好的模型一起工作得更好 遵循 ChatGPT 等說明，這些說明使用流行的 LangChain 框架來構建 AI 驅動的應用程序。
這排除了一些現有的開源選項。 除了有關該工具有效性的問題外，還應注意的是 Nvidia 發布 NeMo Guardrails 並非純粹出於好意。 它是公司 NeMo 框架的一部分，可通過 Nvidia 的企業 AI 軟件套件及其完全託管的 NeMo 雲服務獲得。
最後，如果您有興趣能夠了解更多，可以在 以下鏈接。