O software pode ajudar os desenvolvedores a orientar aplicativos de IA generativos para criar respostas de texto impressionantes que permanecem no caminho certo.
Recentemente foi revelado que Nvidia lançou novo softwareChamado NeMo Guarda-corpos, para ajudar desenvolvedores e empresas a orientar e controlar as respostas generativas de suas IAs.
Guarda-corpos NeMo visa fazer chatbots AI e outras aplicações criado a partir de modelos de linguagem extensivos (LLM) sejam precisos, apropriados, relevantes e seguros. Em outras palavras, ajudará os usuários a impedir que os modelos de IA indiquem fatos incorretos, saia do assunto, fale sobre tópicos perigosos ou abra brechas de segurança. O anúncio sugere que o NeMo Guardrails pode ajudar a resolver o problema alucinante do chatbot de IA, mas muitos são céticos quanto a isso.
Apesar do hype, grandes modelos de IA geradores de texto, como o GPT-4 da OpenAI, cometem muitos erros, alguns dos quais são prejudiciais. E é como sabemos que a IA é treinada a partir de terabytes de dados para criar programas capazes de criar blocos de texto que são lidos como se fossem escritos por um humano.
Mas eles também tendem a inventar coisas, o que os praticantes costumam chamar de "alucinação". As primeiras aplicações da tecnologia, como resumir documentos ou responder a perguntas básicas, devem minimizar as "alucinações" para serem úteis.
Os criadores desses modelos de IA afirmam agir para resolver problemas, como configurar filtros e equipes de moderadores humanos para corrigir problemas quando eles são relatados. Mas não há uma solução única.
Mesmo os melhores modelos de hoje são suscetíveis a vieses, toxicidade e ataques maliciosos. Em sua busca por LLMs "mais seguros", a Nvidia lançou o NeMo Guardrails, um conjunto de ferramentas de código aberto destinado a tornar os aplicativos baseados em IA mais precisos, apropriados, relevantes e seguros. A Nvidia disse que sua ferramenta é resultado de anos de pesquisa.
De acordo com a Nvidia, Guarda-corpo NeMos é uma camada de software que fica entre o usuário e o LLM ou outras ferramentas de IA desde remove resultados ruins antes que o modelo os produza e evita que o modelo processe indicações incorretas.
Em um comunicado, Jonathan Cohen, vice-presidente de pesquisa aplicada da Nvidia, explicou:
“Se você tem um chatbot de atendimento ao cliente, projetado para falar sobre seus produtos, provavelmente não deseja que ele responda a perguntas sobre nossos concorrentes. Você deseja monitorar a conversa. E se isso acontecer, você direciona a conversa para os tópicos de sua preferência."
O NeMo Guardrails inclui código, exemplos e documentação para adicionar segurança a aplicativos de IA que geram texto e fala. A Nvidia diz que o kit de ferramentas foi projetado para funcionar com a maioria dos LLMs, permitindo que os desenvolvedores criem regras usando apenas algumas linhas de código.
“Em última análise, os desenvolvedores controlam o que está fora dos limites de seus aplicativos com o NeMo Guardrails. Eles podem desenvolver grades muito largas ou muito estreitas para o seu caso de uso”, disse Cohen.
Guarda-corpos NeMo permite que os desenvolvedores definam três tipos de limites:
- Medidas de segurança Os temas impedem que os aplicativos sejam redirecionados para domínios indesejados. Por exemplo, eles impedem que os assistentes de atendimento ao cliente respondam a perguntas sobre o clima.
- Medidas de segurança, eles garantem que os aplicativos respondam com informações precisas e apropriadas. Eles podem filtrar linguagem indesejada e garantir que as referências sejam feitas apenas a fontes confiáveis;
- Os aplicativos são limitados a estabelecer conexões com aplicativos externos de terceiros que são conhecidos como seguros.
De acordo com a Nvidia, o NeMo Guardrails pode usar um LLM para detectar alucinações, pedindo a outro LLM para verificar a resposta do primeiro LLM.
Em seguida, ele retorna "Não sei" se o modelo não encontrar nenhuma resposta correspondente. Embora o método pareça prático, vários revisores expressaram ceticismo em relação a ele. A esse respeito, a Nvidia reconheceu que o NeMo Guardrails não é uma solução única para as deficiências do modelo de linguagem. A gigante com sede em Santa Clara, Califórnia, disse que seu novo conjunto de ferramentas tem suas falhas. Em outras palavras, o NeMo Guardrails não cobrirá tudo.
Cohen tambémn destaca que o NeMo Guardrails funciona muito melhor com modelos suficientemente bons para seguir instruções, como ChatGPT, e que usam a popular estrutura LangChain para criar aplicativos baseados em IA.
Isso exclui algumas das opções de código aberto existentes. Além dos questionamentos sobre a eficácia da ferramenta, vale ressaltar que A Nvidia não lança NeMo Guardrails necessariamente por pura bondade. Faz parte da estrutura NeMo da empresa, que está disponível por meio do pacote de software de IA empresarial da Nvidia e seu serviço de nuvem NeMo totalmente gerenciado.
Por fim, se estiver interessado em saber mais sobre o assunto, pode consultar os detalhes no link a seguir