英伟达近日宣布推出名为“NIM”的AI护栏服务，现已以NeMo Guardrails套件的形式提供。该服务旨在为大语言模型（LLM）添加一系列护栏规则，防止用户通过提示词“越狱”大模型，从而避免生成不符合预期的内容。
NeMo Guardrails基于英伟达的Aegis内容安全数据集训练而成，该数据集包含3.5万个标注样本，并已在Hugging Face上公开。这套AI护栏服务不仅体积小、效率高，还能在多种场合中流畅运行。企业可以直接将其嵌入AI模型开发中，提升医疗、汽车、制造业等领域AI部署的安全性。
此外，英伟达还发布了Garak漏洞扫描工具，用于检测模型安全性，防止输出幻觉内容或泄露企业内部机密信息。这一系列举措将有效改善AI应用的安全性和可靠性。
免责声明：本文内容由开放的智能模型自动生成，仅供参考。
