如何给智能体装个「AI护栏」？英伟达有3项全新微服务

对于一个科技周边开发者来说，牢固扎实的基础是十分重要的，golang学习网就来带大家一点点的掌握基础知识点。今天本篇文章带大家了解《如何给智能体装个「AI护栏」？英伟达有3项全新微服务》，主要介绍了，希望对大家的知识积累有所帮助，快点收藏起来吧，否则需要时就找不到了！

AI应用部署安全至关重要：英伟达推出NIM微服务守护生成式AI

Gartner预测，到2028年，AI将广泛应用于企业决策和流程。然而，AI智能体的信任、安全和合规性问题日益突出。为解决这一难题，英伟达发布了全新的NIM微服务，作为NeMo Guardrails软件工具包的一部分，旨在提升生成式AI应用的安全性、准确性和可扩展性。

NIM微服务：三道安全防线，兼顾效率与安全

NeMo Guardrails是一个开源工具包，允许开发者为基于大型语言模型（LLM）的会话系统添加可编程“护栏”。 新推出的三项NIM微服务，能有效控制AI智能体在规模化运行时的行为：

• 内容安全NIM微服务（Content Safety NIM）： 基于高质量的Aegis内容安全数据集（超过35000个人工标记样本，已在Hugging Face公开发布）训练，有效防止AI生成偏见或有害内容，确保输出符合道德标准。英伟达企业AI模型、软件与服务副总裁Kari Briski评价其为“同类数据集中质量最高的数据源之一”。

• 话题控制NIM微服务（Topic Control NIM）： 将对话引导至预先审核的话题，避免偏离主题或出现不当内容。

• 越狱检测NIM微服务（Jailbreak Detection NIM）： 加强对试图绕过安全防护措施的防御，确保AI在对抗性场景下的完整性。

来源：英伟达官方

轻量级“护栏”策略，高效提升安全性和合规性

NeMo Guardrails采用多个轻量级专业模型作为“护栏”，避免了“一刀切”方法的不足，有效弥补了单一全局策略的漏洞。 测试结果显示，增加5个护栏，延迟仅增加约1.25秒，展现了其在保障能力和效率之间的良好平衡。

跨行业应用，构建安全可信的AI智能体

NeMo Guardrails已开源，其NIM微服务已在汽车、金融、医疗、制造、零售等多个行业得到应用。例如：

• Amdocs: 在其amAIz电信生成式AI框架中集成NeMo Guardrails，增强平台安全性。

• Cerence AI: 用于车载助手，提供更安全、准确的上下文交互。

• 劳氏公司: 用于提升员工客户服务能力，确保AI回复的安全性与可靠性。

此外，NeMo Guardrails具有良好的开放性和可扩展性，可与ActiveFence、Fiddler、Weights & Biases等其他AI安全和可观测性平台集成，并提供NVIDIA Garak开源套件用于AI安全测试和漏洞扫描。

目前，NeMo Guardrails微服务以及相关工具已向开发者和企业开放，助力构建更安全、可靠的AI应用。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《如何给智能体装个「AI护栏」？英伟达有3项全新微服务》文章吧，也可关注golang学习网公众号了解相关技术文章。