این نرم‌افزار می‌تواند به توسعه‌دهندگان کمک کند تا برنامه‌های کاربردی هوش مصنوعی را برای ایجاد پاسخ‌های متنی چشمگیر که در مسیر باقی می‌مانند، راهنمایی کنند.
اخیراً مشخص شد که انویدیا نرم افزار جدیدی منتشر کردبه نام نرده محافظ نمو، برای کمک به توسعه دهندگان و کسب و کارها، پاسخ های مولد هوش مصنوعی خود را هدایت و کنترل کنند.
نمو گاردیل هدفش ساخت ربات‌های چت هوش مصنوعی و برنامه‌های کاربردی دیگر است ایجاد شده از مدل های زبان گسترده (LLM) دقیق، مناسب، مرتبط و امن هستند. به عبارت دیگر به کاربران کمک می کند تا از نشان دادن حقایق نادرست مدل های هوش مصنوعی جلوگیری کنند، از موضوع خارج شوید، در مورد موضوعات خطرناک صحبت کنید یا حفره های امنیتی را باز کنید. این اعلامیه نشان می دهد که NeMo Guardrails می تواند به حل مشکل توهم ربات چت هوش مصنوعی کمک کند، اما بسیاری در مورد آن تردید دارند.
با وجود تبلیغات زیاد، مدل‌های بزرگ AI تولید کننده متن مانند GPT-4 OpenAI اشتباهات زیادی مرتکب می‌شوند که برخی از آنها مضر هستند. و این است که همانطور که می دانیم هوش مصنوعی از ترابایت داده برای ایجاد برنامه هایی با قابلیت ایجاد بلوک های متنی که گویی توسط یک انسان نوشته شده خوانده می شوند آموزش دیده اند.
اما آنها همچنین تمایل به ساختن چیزهایی دارند، که تمرین‌کنندگان اغلب آن را «توهم» می‌نامند. کاربردهای اولیه این فناوری، مانند خلاصه کردن اسناد یا پاسخ به سؤالات اساسی، برای مفید بودن باید «توهمات» را به حداقل برسانند.
سازندگان این مدل های هوش مصنوعی ادعا می کنند که دست به کار شده اند برای رسیدگی به مسائل، مانند راه‌اندازی فیلترها و تیم‌های ناظر انسانی برای رفع مشکلات هنگام گزارش. اما راه حل واحدی وجود ندارد.
حتی بهترین مدل های امروزی نیز در معرض سوگیری، سمیت و حملات مخرب هستند. انویدیا در تلاش برای LLM های "ایمن تر" NeMo Guardrails را منتشر کرد. یک مجموعه ابزار منبع باز با هدف دقیق تر، مناسب تر، مرتبط تر و ایمن تر کردن برنامه های مبتنی بر هوش مصنوعی. انویدیا گفت که ابزار آن نتیجه سال ها تحقیق است.
به گفته انویدیا, نمو گاردریلs یک لایه نرم افزاری است که بین کاربر و LLM قرار دارد یا دیگر ابزارهای هوش مصنوعی از آن زمان نتایج بد را قبل از اینکه مدل تولید کند حذف می کند و از پردازش نشانه های نادرست توسط مدل جلوگیری می کند.
جاناتان کوهن، معاون تحقیقات کاربردی انویدیا در بیانیه ای توضیح داد:
«اگر یک چت ربات خدمات مشتری دارید که برای صحبت در مورد محصولات شما طراحی شده است، احتمالاً نمی خواهید به سؤالات مربوط به رقبای ما پاسخ دهد. شما می خواهید مکالمه را زیر نظر داشته باشید. و اگر این اتفاق بیفتد، شما گفتگو را به سمت موضوعاتی که ترجیح می دهید هدایت می کنید."
NeMo Guardrails شامل کد، مثال‌ها و مستنداتی برای افزودن امنیت به برنامه‌های هوش مصنوعی است که متن و گفتار تولید می‌کنند. انویدیا می گوید که این جعبه ابزار برای کار با اکثر LLM ها طراحی شده است و به توسعه دهندگان این امکان را می دهد تا قوانینی را با استفاده از چند خط کد ایجاد کنند.
در نهایت، توسعه‌دهندگان با NeMo Guardrails آنچه را که خارج از محدودیت‌های برنامه‌شان است کنترل می‌کنند. آنها می توانند نرده هایی بسازند که برای کاربردشان خیلی پهن یا برعکس خیلی باریک باشد.
نمو گاردیل به توسعه دهندگان اجازه می دهد تا سه نوع محدودیت را تعریف کنند:
- تمهیدات امنیتی تم ها از تغییر مسیر برنامه ها به دامنه های ناخواسته جلوگیری می کنند. به عنوان مثال، آنها از پاسخگویی دستیاران خدمات مشتری به سؤالات مربوط به آب و هوا جلوگیری می کنند.
- تمهیدات امنیتی، آنها اطمینان حاصل می کنند که برنامه ها با اطلاعات دقیق و مناسب پاسخ می دهند. آنها می توانند زبان ناخواسته را فیلتر کنند و مطمئن شوند که فقط به منابع معتبر ارجاع داده می شود.
- برنامه‌ها محدود به برقراری ارتباط با برنامه‌های شخص ثالث خارجی هستند که امن هستند.
به گفته انویدیا، NeMo Guardrails می‌تواند از یک LLM برای تشخیص توهمات استفاده کند و از یک LLM دیگر بخواهد پاسخ اولین LLM را بررسی کند.
سپس اگر مدل هیچ پاسخ منطبقی را پیدا نکرد، «نمی‌دانم» را برمی‌گرداند. اگرچه این روش عملی به نظر می رسد، چندین بازبین نسبت به آن ابراز تردید کرده اند. در این راستا، انویدیا تشخیص داده است که NeMo Guardrails یک راه حل یکسان برای کمبودهای مدل زبانی نیست. غول مستقر در سانتا کلارا در کالیفرنیا گفت مجموعه ابزارهای جدید آن خالی از اشکال نیست. به عبارت دیگر، NeMo Guardrails همه چیز را پوشش نخواهد داد.
کوهن هم همینطورn اشاره می کند که NeMo Guardrails با مدل هایی که به اندازه کافی خوب هستند بسیار بهتر عمل می کند دستورالعمل‌هایی مانند ChatGPT را دنبال کنید و از چارچوب محبوب LangChain برای ساخت برنامه‌های مبتنی بر هوش مصنوعی استفاده کنید.
این امر برخی از گزینه های منبع باز موجود را رد می کند. علاوه بر سوالات در مورد اثربخشی ابزار، باید توجه داشت که انویدیا لزوماً NeMo Guardrails را از روی خوبی منتشر نمی کند. این بخشی از چارچوب NeMo این شرکت است که از طریق مجموعه نرم‌افزار هوش مصنوعی انویدیا و سرویس ابری NeMo کاملاً مدیریت شده آن در دسترس است.
در نهایت، اگر شما علاقه مند به کسب اطلاعات بیشتر در مورد آن هستید، می توانید با جزئیات در این مورد مشورت کنید لینک زیر
اولین کسی باشید که نظر