يمكن للبرنامج مساعدة المطورين في توجيه تطبيقات الذكاء الاصطناعي التوليدية لإنشاء استجابات نصية رائعة تظل على المسار الصحيح.
تم الكشف مؤخرا عن ذلك أصدرت Nvidia برنامجًا جديدًا، ودعا درابزين NeMo لمساعدة المطورين والشركات في توجيه الاستجابات التوليدية لأنظمة الذكاء الاصطناعي الخاصة بهم والتحكم فيها.
حواجز الحماية نيمو يهدف إلى إنشاء روبوتات محادثة AI وتطبيقات أخرى تم إنشاؤه من نماذج لغوية واسعة النطاق (LLM) دقيقة ومناسبة وذات صلة وآمنة. وبعبارة أخرى، سيساعد المستخدمين على منع نماذج الذكاء الاصطناعي من الإشارة إلى حقائق غير صحيحةأو الخروج عن الموضوع أو التحدث عن مواضيع خطيرة أو فتح ثغرات أمنية. يشير الإعلان إلى أن NeMo Guardrails يمكن أن تساعد في حل مشكلة هلوسة روبوت الدردشة AI ، لكن الكثيرين يشككون في ذلك.
على الرغم من الضجيج ، فإن نماذج الذكاء الاصطناعي الكبيرة لإنشاء النصوص مثل GPT-4 من OpenAI ترتكب الكثير من الأخطاء ، بعضها ضار. وكما نعلم ، يتم تدريب الذكاء الاصطناعي من تيرابايت من البيانات لإنشاء برامج قادرة على إنشاء كتل نصية تُقرأ كما لو كانت كتبها إنسان.
لكنهم يميلون أيضًا إلى اختلاق الأشياء ، والتي غالبًا ما يسميها الممارسون "الهلوسة". يجب أن تقلل التطبيقات المبكرة للتكنولوجيا ، مثل تلخيص المستندات أو الإجابة على الأسئلة الأساسية ، من "الهلوسة" حتى تكون مفيدة.
يدعي مبتكرو نماذج الذكاء الاصطناعي هذه اتخاذ الإجراءات اللازمة لمعالجة المشكلات ، مثل إعداد عوامل التصفية وفرق من المشرفين البشريين لإصلاح المشكلات عند الإبلاغ عنها. لكن لا يوجد حل واحد.
حتى أفضل نماذج اليوم عرضة للتحيز والسمية والهجوم الخبيث. في سعيها للحصول على LLMs "أكثر أمانًا" ، أصدرت Nvidia NeMo Guardrails ، مجموعة أدوات مفتوحة المصدر تهدف إلى جعل التطبيقات التي تعمل بالذكاء الاصطناعي أكثر دقة وملاءمة وملاءمة وأمانًا. قالت Nvidia أن أداتها هي نتيجة سنوات من البحث.
بحسب نفيديا، NeMo الدرابزينs هي طبقة برمجية تقف بين المستخدم و LLM أو أدوات أخرى للذكاء الاصطناعي منذ ذلك الحين يزيل النتائج السيئة قبل أن ينتجها النموذج ويمنع النموذج من معالجة المؤشرات غير الصحيحة.
في بيان ، أوضح جوناثان كوهين ، نائب رئيس Nvidia للأبحاث التطبيقية:
"إذا كان لديك chatbot لخدمة العملاء ، مصممًا للتحدث عن منتجاتك ، فربما لا تريده أن يجيب على أسئلة حول منافسينا. تريد مراقبة المحادثة. وإذا حدث ذلك ، فأنت توجه المحادثة إلى الموضوعات التي تفضلها ".
يتضمن NeMo Guardrails تعليمات برمجية وأمثلة ووثائق لإضافة الأمان إلى تطبيقات الذكاء الاصطناعي التي تولد النص والكلام. تقول Nvidia أن مجموعة الأدوات مصممة للعمل مع معظم LLMs ، مما يسمح للمطورين بإنشاء قواعد باستخدام بضعة أسطر من التعليمات البرمجية.
"في النهاية ، يتحكم المطورون في ما هو خارج حدود تطبيقاتهم باستخدام NeMo Guardrails. قال كوهين: "يمكنهم تطوير درابزين عريض جدًا أو ضيق على العكس من حالة الاستخدام الخاصة بهم".
حواجز الحماية نيمو يسمح للمطورين بتحديد ثلاثة أنواع من الحدود:
- تدابير أمنية تمنع السمات إعادة توجيه التطبيقات إلى مجالات غير مرغوب فيها. على سبيل المثال ، يمنعون مساعدي خدمة العملاء من الإجابة على الأسئلة المتعلقة بالطقس.
- تدابير أمنية، أنها تضمن استجابة التطبيقات بمعلومات دقيقة ومناسبة. يمكنهم تصفية اللغة غير المرغوب فيها والتأكد من أن الإشارات تتم فقط لمصادر موثوقة ؛
- تقتصر التطبيقات على إنشاء اتصالات مع تطبيقات خارجية معروفة بأنها آمنة.
وفقًا لـ Nvidia ، يمكن لـ NeMo Guardrails استخدام LLM لاكتشاف الهلوسة عن طريق مطالبة LLM آخر بفحص استجابة LLM الأولى.
ثم تقوم بإرجاع "لا أعرف" إذا لم يعثر النموذج على أي إجابات متطابقة. على الرغم من أن الطريقة تبدو عملية ، فقد أعرب العديد من المراجعين عن شكوكهم تجاهها. في هذا الصدد ، أدركت Nvidia أن NeMo Guardrails ليس حلاً واحدًا يناسب الجميع لأوجه القصور في نموذج اللغة. قالت شركة سانتا كلارا العملاقة ومقرها كاليفورنيا إن مجموعتها الجديدة من الأدوات لا تخلو من عيوبها. بعبارة أخرى ، لن تغطي NeMo Guardrails كل شيء.
كوهين أيضًايشير n إلى أن NeMo Guardrails يعمل بشكل أفضل مع النماذج الجيدة بدرجة كافية لاتباع التعليمات ، مثل ChatGPT ، والتي تستخدم إطار عمل LangChain الشهير لبناء تطبيقات مدعومة بالذكاء الاصطناعي.
هذا يستبعد بعض الخيارات مفتوحة المصدر الحالية. بالإضافة إلى الأسئلة حول فعالية الأداة ، تجدر الإشارة إلى أن لا تقوم Nvidia بالضرورة بإصدار NeMo Guardrails بدافع الخير المطلق. إنه جزء من إطار عمل NeMo الخاص بالشركة ، والذي يتوفر من خلال مجموعة برامج AI للمؤسسات من Nvidia وخدمة السحابة NeMo المدارة بالكامل.
أخيرًا ، إذا كنت مهتمًا بأن تكون قادرًا على معرفة المزيد عنها ، فيمكنك الرجوع إلى التفاصيل في الرابط التالي.