이 소프트웨어는 개발자가 제너레이티브 AI 애플리케이션을 안내하여 궤도에 머무르는 인상적인 텍스트 응답을 생성하도록 도울 수 있습니다.
최근에 밝혀졌다. Nvidia가 새로운 소프트웨어를 발표했습니다.전화 NeMo 가드레일, 개발자와 기업이 AI의 생성 반응을 안내하고 제어할 수 있도록 지원합니다.
NeMo 가드레일 AI 챗봇 및 기타 응용 프로그램을 만드는 것을 목표로 합니다. 확장 언어 모델(LLM)에서 생성 정확하고 적절하며 관련성이 있고 안전합니다. 즉, 사용자가 AI 모델이 잘못된 사실을 표시하는 것을 방지하는 데 도움이 됩니다., 주제에서 벗어나거나 위험한 주제에 대해 이야기하거나 보안 구멍을 엽니다. 이 발표는 NeMo Guardrails가 AI 챗봇의 환각 문제를 해결하는 데 도움이 될 수 있음을 시사하지만 많은 사람들이 이에 대해 회의적입니다.
과대 광고에도 불구하고 OpenAI의 GPT-4와 같은 대형 텍스트 생성 AI 모델은 많은 실수를 저지르며 그 중 일부는 해롭습니다. 그리고 우리가 알고 있듯이 AI는 마치 사람이 쓴 것처럼 읽히는 텍스트 블록을 생성할 수 있는 프로그램을 만들기 위해 테라바이트의 데이터에서 훈련됩니다.
그러나 그들은 또한 개업의들이 종종 "환각"이라고 부르는 것을 꾸며내는 경향이 있습니다. 문서를 요약하거나 기본 질문에 답하는 것과 같은 기술의 초기 응용 프로그램이 유용하려면 "환각"을 최소화해야 합니다.
이 AI 모델의 제작자는 조치를 취한다고 주장합니다. 문제가 보고되면 문제를 해결하기 위해 필터 및 인간 중재자 팀 설정과 같은 문제를 해결합니다. 그러나 단일 솔루션은 없습니다.
오늘날 최고의 모델도 편향, 독성 및 악의적인 공격에 취약합니다. "보다 안전한" LLM을 추구하면서 Nvidia는 NeMo Guardrails를 출시했습니다. AI 기반 애플리케이션을 보다 정확하고 적절하며 관련성 있고 안전하게 만드는 것을 목표로 하는 오픈 소스 도구 세트입니다. Nvidia는 자사의 도구가 수년간의 연구 결과라고 말했습니다.
엔비디아에 따르면, NeMo 가드레일s는 사용자와 LLM 사이에 있는 소프트웨어 계층입니다. 또는 이후 다른 AI 도구 모델이 잘못된 결과를 생성하기 전에 잘못된 결과를 제거하고 모델이 잘못된 표시를 처리하는 것을 방지합니다.
Nvidia의 응용 연구 부사장인 Jonathan Cohen은 성명에서 다음과 같이 설명했습니다.
“당신의 제품에 대해 이야기하도록 설계된 고객 서비스 챗봇이 있다면 경쟁사에 대한 질문에 대답하는 것을 원하지 않을 것입니다. 대화를 모니터링하고 싶습니다. 그런 일이 발생하면 원하는 주제로 대화를 이끌어가세요."
NeMo Guardrails에는 텍스트와 음성을 생성하는 AI 애플리케이션에 보안을 추가하는 코드, 예제 및 설명서가 포함되어 있습니다. Nvidia는 이 툴킷이 대부분의 LLM과 함께 작동하도록 설계되어 개발자가 단 몇 줄의 코드를 사용하여 규칙을 만들 수 있다고 말합니다.
“궁극적으로 개발자는 NeMo Guardrails를 사용하여 애플리케이션의 한계를 벗어나는 것을 제어합니다. 사용 사례에 비해 너무 넓거나 반대로 너무 좁은 난간을 개발할 수 있습니다.”라고 Cohen은 말했습니다.
NeMo 가드레일 개발자는 세 가지 유형의 제한을 정의할 수 있습니다.
- 보안 조치 테마는 앱이 원치 않는 도메인으로 다시 라우팅되는 것을 방지합니다. 예를 들어 고객 서비스 직원이 날씨에 대한 질문에 대답하지 못하게 합니다.
- 보안 조치, 응용 프로그램이 정확하고 적절한 정보로 응답하도록 합니다. 원치 않는 언어를 필터링하고 신뢰할 수 있는 출처만 참조하도록 할 수 있습니다.
- 애플리케이션은 안전한 것으로 알려진 외부 타사 애플리케이션과의 연결을 설정하도록 제한됩니다.
Nvidia에 따르면 NeMo Guardrails는 LLM을 사용하여 다른 LLM에 첫 번째 LLM의 응답을 확인하도록 요청하여 환각을 감지할 수 있습니다.
그런 다음 모델이 일치하는 답변을 찾지 못하면 "모름"을 반환합니다. 이 방법이 실용적으로 보이지만 몇몇 리뷰어는 이에 대해 회의적이었습니다. 이와 관련하여 Nvidia는 NeMo Guardrails가 언어 모델 결함에 대한 만병통치약 솔루션이 아님을 인식했습니다. 캘리포니아에 본사를 둔 거대 기업인 Santa Clara는 자사의 새로운 도구 세트에 결점이 없는 것은 아니라고 말했습니다. 즉, NeMo 가드레일이 모든 것을 커버하지는 않습니다.
코헨도n은 NeMo Guardrails가 충분히 좋은 모델에서 훨씬 더 잘 작동한다고 지적합니다. ChatGPT와 같은 지침을 따르고 널리 사용되는 LangChain 프레임워크를 사용하여 AI 기반 애플리케이션을 구축합니다.
이것은 기존 오픈 소스 옵션 중 일부를 배제합니다. 도구의 효율성에 대한 질문 외에도 다음 사항에 유의해야 합니다. Nvidia가 반드시 NeMo Guardrails를 순전히 좋은 것으로 출시하지는 않습니다. Nvidia의 엔터프라이즈 AI 소프트웨어 제품군과 완전히 관리되는 NeMo 클라우드 서비스를 통해 사용할 수 있는 회사의 NeMo 프레임워크의 일부입니다.
마지막으로, 그것에 대해 더 알고 싶으시면 자세한 내용을 참조하십시오. 다음 링크.