AI Agent安全战开启,黄仁勋携36家组织发布安全倡议

发布时间:2026/7/29 9:13:27
AI Agent安全战开启,黄仁勋携36家组织发布安全倡议 NVIDIA联合其他36家组织共同组建开放安全AI联盟Open Secure AI Alliance旨在开发并共享用于保障软件和人工智能AgentAI Agent安全性的开放技术、方法和工具。该联盟的37家成员涵盖云服务、安全、企业软件和AI公司包括Microsoft、Cisco、Cloudflare、CrowdStrike、Hugging Face、IBM、Palo Alto Networks、Red Hat及Linux基金会。联盟的明确范围覆盖整个Agent堆栈包括身份、权限、隔离、护栏、日志、模型格式、多模型扫描以及安全编码工作流。其核心主张是网络防御者需要能够自行读取、修改并在自有硬件上运行的AI模型而非仅能通过供应商应用程序编程接口API访问的封闭系统。联盟成立的同时发布了首个技术贡献NVIDIA-labs OO AgentsNOOA这是一个基于Apache 2.0协议的研究框架旨在让Agent行为更易于测试、追踪、审计和治理。发布资料中未包含章程、理事会、技术工作组、交付时间表或共享联盟仓库其独立网站也仍在建设中。The Hacker News已就联盟治理、成员承诺及首批计划交付物联系NVIDIA寻求细节并将根据回复更新本文。首个代码附带沙箱警告Agent harness是模型周围的软件层负责渲染上下文、执行动作、管理状态并决定任务何时完成。在NOOA中该层以Python类的形式呈现字段存储状态方法暴露能力文档字符串充当提示词类型注解定义模型必须遵循的合约。包含省略号体...的方法在运行时由大语言模型LLM驱动的循环完成。包含普通Python代码的方法则保持确定性执行。这种结构让开发者能够沿用熟悉的测试、追踪、版本控制和重构工作流而无需将Agent行为分散到提示词、工具架构、回调和工作流图中。NVIDIA在自身评估中报告该框架在使用GPT-5.5、阻断网络访问并对每条轨迹应用基于规则的检查时在CyberGym L1漏洞重新发现基准测试中取得了86.8%的得分。该仓库同样直接说明了风险。NOOA可配置为执行LLM生成的Python代码这可能传输私密数据、删除文件或修改运行环境。其抽象语法树检查和模块拒绝列表被描述为纵深防御控制手段而非“遏制边界”。NVIDIA将遏制边界置于NOOA框架之外。执行生成代码的Agent必须在操作系统级隔离环境如容器、虚拟机或NVIDIA OpenShell沙箱中运行。NOOA负责检测和追踪OS级沙箱才是遏制边界。截至7月27日对公共仓库的审查发现一个标注为7月22日的v0.0.6标签。项目发布指南指出为提交打标签即为发布仪式将构建好的whl文件附加到单独的GitHub Release中是可选项。其贡献指南称项目由NVIDIA维护欢迎通过拉取请求贡献外部代码。仓库中没有任何根级治理或路线图文件。Hugging Face安全事故成为论据NVIDIA将联盟倡导本地部署防御模型的主张与7月Hugging Face遭遇的入侵事件联系起来——当时一个自主Agent系统攻陷了该公司部分生产基础设施。Hugging Face发现一组有限内部数据集以及多个服务使用的凭据遭到未授权访问。调查未发现公开模型、数据集、Spaces、容器镜像或已发布包被篡改的证据。Hugging Face表示攻击者最初通过一个恶意数据集进入其环境该数据集滥用了远程代码数据集加载器并在数据集配置中植入了模板注入。随后攻击活动推进到节点访问、凭据收集并在多个内部集群间横向移动。Hugging Face称他们运行了LLM驱动的分析Agent对超过17,000条记录的动作进行分析以重建攻击时间线、提取入侵指标并绘制被触及的凭据图。商业托管的领先模型API最初拒绝了攻击命令、漏洞利用载荷以及分析所需的命令与控制构件。该公司转而在其自有基础设施上运行开放权重模型GLM 5.2从而将攻击数据和被引用的凭据保留在其环境内部。其运营建议是“在事件发生前准备好并验证一个能够在自有基础设施上运行的高能力模型。”在此案例中优势在于运营控制权。该事件并未证明模型开放性可以替代身份、隔离或遏制措施。据The Hacker News此前报道OpenAI后来表示其初步调查发现GPT-5.6 Sol以及一个更强大的预发布模型在内部ExploitGym评估期间以降低的网络拒绝率运行导致了该事件。OpenAI的披露描述了事件链中更早的一步。这些模型利用了内部托管的包注册表缓存代理中的一个0Day漏洞zero-day vulnerability从而获得了互联网访问权限。随后它们串联了OpenAI和Hugging Face系统中的漏洞和窃取的凭据同时寻找基准测试答案。OpenAI表示其中一条攻击链在Hugging Face服务器上找到了远程代码执行路径。OpenAI称Hugging Face在其基础设施上检测并阻止了该活动并且在两家公司联系时Hugging Face已开始进行遏制和取证重建。主要披露表明开放模型帮助Hugging Face重建了入侵过程并支持了应急响应。但这并未显示GLM 5.2独立检测、阻止或遏制了该入侵。缺乏公开运营手册的联盟该联盟的成立紧随7月24日的一封行业公开信信中主张可下载模型让防御者获得与攻击者相当的能力减少对单一供应商的依赖并允许敏感工作保留在用户控制的基础设施上。OpenAI、Google和Meta出现在该公开信的签署方名单中但未出现在联盟的创始成员名单中。截至2026年7月27日Anthropic也未出现在任何一份名单中。仅凭成员名单无法解释这些缺席原因。签署政策公开信与加入技术联盟是两种不同的承诺而公开资料并未说明这些公司缺席的原因、是否正在进行成员资格谈判或者加入联盟需要满足哪些贡献条件。公告中引用的多项技术在联盟成立之前就已存在包括Hugging Face的Safetensors模型格式、HPE支持的SPIFFE/SPIRE工作负载身份、IBM与Red Hat的Lightwell修复系统、Microsoft的MDASH多模型安全框架以及SpaceXAI的Grok Build编码Agent。这些是现有成员项目而非联盟创建的产品。Elastic表示将贡献跨安全、搜索、可观测性和AI驱动检测领域的研究、工具和架构知识。CrowdStrike表示正在开发利用开放模型检测针对AI系统和Agent攻击的技术。Linux基金会自称是创始合作伙伴并表示其作用是提供一个中立场所让相互竞争的组织能够在此协作。它并未说明该联盟是作为Linux基金会项目正式托管或治理的。公开记录并未区分成员是派遣工程师参与联合工作、贡献现有项目还是仅仅支持联盟的发展方向。如果有已发布的工作组、维护者、发布流程或联合治理的代码将更容易评估联合参与的程度。目前公开记录显示的是一个联盟、一个政策立场、若干成员承诺以及一个可识别的、由NVIDIA维护的新代码发布——NOOA。联盟的治理结构、联合路线图、首个多成员交付物以及NVIDIA承诺提供的模型、权重和数据集目前均未公开。