Phần mềm này có thể giúp các nhà phát triển hướng dẫn các ứng dụng AI tổng quát để tạo ra các phản hồi văn bản ấn tượng luôn đi đúng hướng.
Nó gần đây đã được tiết lộ rằng Nvidia phát hành phần mềm mớiđược gọi là Lan can NeMo, để giúp các nhà phát triển và doanh nghiệp hướng dẫn và kiểm soát các phản ứng chung của AI của họ.
lan can NeMo nhằm mục đích tạo ra các chatbot AI và các ứng dụng khác được tạo từ các mô hình ngôn ngữ mở rộng (LLM) là chính xác, thích hợp, có liên quan và an toàn. Nói cách khác, sẽ giúp người dùng ngăn các mô hình AI chỉ ra sự thật không chính xác, đi lạc chủ đề, nói về các chủ đề nguy hiểm hoặc mở lỗ hổng bảo mật. Thông báo cho rằng NeMo Guardrails có thể giúp giải quyết vấn đề gây ảo giác của chatbot AI, nhưng nhiều người vẫn hoài nghi về điều đó.
Bất chấp sự cường điệu, các mô hình AI tạo văn bản lớn như GPT-4 của OpenAI mắc rất nhiều lỗi, một số lỗi gây bất lợi. Và như chúng ta đã biết, AI được đào tạo từ hàng terabyte dữ liệu để tạo ra các chương trình có khả năng tạo các khối văn bản được đọc như thể chúng được viết bởi con người.
Nhưng họ cũng có xu hướng bịa đặt, mà các học viên thường gọi là "ảo giác". Các ứng dụng ban đầu của công nghệ, chẳng hạn như tóm tắt tài liệu hoặc trả lời các câu hỏi cơ bản, phải giảm thiểu "ảo giác" để trở nên hữu ích.
Những người tạo ra các mô hình AI này tuyên bố sẽ hành động để giải quyết các vấn đề, chẳng hạn như thiết lập bộ lọc và nhóm người điều hành con người để khắc phục sự cố khi chúng được báo cáo. Nhưng không có giải pháp duy nhất.
Ngay cả những mô hình tốt nhất hiện nay cũng dễ bị sai lệch, độc hại và tấn công ác ý. Trong nhiệm vụ tìm kiếm các LLM "an toàn hơn", Nvidia đã phát hành NeMo Guardrails, một bộ công cụ nguồn mở nhằm mục đích làm cho các ứng dụng do AI cung cấp trở nên chính xác, phù hợp, phù hợp và an toàn hơn. Nvidia cho biết công cụ của họ là kết quả của nhiều năm nghiên cứu.
Theo Nvidia, Lan can NeMos là lớp phần mềm đứng giữa người dùng và LLM hoặc các công cụ AI khác kể từ đó loại bỏ các kết quả xấu trước khi mô hình tạo ra chúng và ngăn mô hình xử lý các chỉ báo không chính xác.
Trong một tuyên bố, Jonathan Cohen, phó chủ tịch nghiên cứu ứng dụng của Nvidia, giải thích:
“Nếu bạn có một chatbot dịch vụ khách hàng, được thiết kế để nói về sản phẩm của bạn, có lẽ bạn không muốn nó trả lời các câu hỏi về đối thủ cạnh tranh của chúng tôi. Bạn muốn theo dõi cuộc trò chuyện. Và nếu điều đó xảy ra, bạn sẽ hướng cuộc trò chuyện đến những chủ đề mà bạn thích hơn."
NeMo Guardrails bao gồm mã, ví dụ và tài liệu để tăng cường bảo mật cho các ứng dụng AI tạo văn bản và lời nói. Nvidia cho biết bộ công cụ này được thiết kế để hoạt động với hầu hết các LLM, cho phép các nhà phát triển tạo quy tắc chỉ bằng một vài dòng mã.
“Cuối cùng, các nhà phát triển kiểm soát những gì nằm ngoài giới hạn ứng dụng của họ với NeMo Guardrails. Họ có thể phát triển lan can quá rộng hoặc ngược lại quá hẹp đối với trường hợp sử dụng của họ,” Cohen nói.
lan can NeMo cho phép các nhà phát triển xác định ba loại giới hạn:
- biện pháp an ninh Các chủ đề ngăn các ứng dụng bị định tuyến lại đến các miền không mong muốn. Ví dụ: họ ngăn trợ lý dịch vụ khách hàng trả lời các câu hỏi về thời tiết.
- Các biện pháp an ninh, họ đảm bảo rằng các ứng dụng phản hồi với thông tin chính xác và phù hợp. Họ có thể lọc ra ngôn ngữ không mong muốn và đảm bảo rằng các tài liệu tham khảo chỉ được thực hiện cho các nguồn đáng tin cậy;
- Các ứng dụng được giới hạn để thiết lập kết nối với các ứng dụng của bên thứ ba bên ngoài được biết là an toàn.
Theo Nvidia, NeMo Guardrails có thể sử dụng LLM để phát hiện ảo giác bằng cách yêu cầu một LLM khác kiểm tra phản hồi của LLM đầu tiên.
Sau đó, nó trả về "Tôi không biết" nếu mô hình không tìm thấy bất kỳ câu trả lời phù hợp nào. Mặc dù phương pháp này có vẻ thiết thực, nhưng một số nhà phê bình đã bày tỏ sự hoài nghi đối với nó. Về vấn đề này, Nvidia đã nhận ra rằng NeMo Guardrails không phải là giải pháp một kích cỡ phù hợp với tất cả các thiếu sót của mô hình ngôn ngữ. Người khổng lồ có trụ sở tại Santa Clara, California cho biết bộ công cụ mới của họ không phải là không có sai sót. Nói cách khác, NeMo Guardrails sẽ không bao gồm mọi thứ.
Cohen cũng vậyn chỉ ra rằng NeMo Guardrails hoạt động tốt hơn nhiều với các mô hình đủ tốt để làm theo các hướng dẫn, chẳng hạn như ChatGPT và sử dụng khung LangChain phổ biến để xây dựng các ứng dụng do AI cung cấp.
Điều này loại trừ một số tùy chọn nguồn mở hiện có. Ngoài các câu hỏi về hiệu quả của công cụ, cần lưu ý rằng Nvidia không nhất thiết phải phát hành NeMo Guardrails vì lợi ích tuyệt đối. Nó là một phần của khung NeMo của công ty, có sẵn thông qua bộ phần mềm AI dành cho doanh nghiệp của Nvidia và dịch vụ đám mây NeMo được quản lý hoàn toàn.
Cuối cùng, nếu bạn quan tâm có thể biết thêm về nó, bạn có thể tham khảo chi tiết tại mục liên kết theo dõi.