AI观测站|AI 开始行动以后,权限管理已经不够了

发布时间:2026/8/11 12:40:55
AI观测站|AI 开始行动以后,权限管理已经不够了 上一篇讲到一个问题AI 把事情做对了也可能不该这样做。这一篇继续往下问企业怎么避免 AI 越界我的答案是先划清 AI 的行动边界。但这里有一个很关键的变化传统权限管理管的是“谁能进系统”。AI 行动边界管的是“它进去以后能不能自己做动作”。一个账号能访问工单系统不代表 AI 可以关闭工单。能看运维平台不代表它可以重启实例。能读数据库不代表它可以修改数据。所以AI 进入生产以后问题不只是“给不给权限”。而是要把它能做的事分清楚哪些只能查。哪些只能建议。哪些可以自动执行。哪些必须人工确认。哪些永远不能交给 AI。这件事听起来不新鲜。但 AI 进入生产以后它会变得非常关键。因为 AI 的风险不只是来自模型。也不只是来自工具。而是来自它通过工具做了什么事。AI 开始进入真实工作流过去两年很多企业里的 AI 主要做几件事查知识。写内容。总结信息。但最近一年一个明显变化开始出现。越来越多 AI 不再只是提供答案。它开始创建工单。开始修改代码。开始触发流程。开始调用自动化脚本。开始参与生产处置。这意味着企业第一次面对一种新的对象。它既不是员工。也不是传统软件。但它正在影响真实业务结果。过去企业最怕员工越权。未来企业还要开始防 AI 越界。这也是为什么行动边界开始变得越来越重要。风险不在工具名里而在行动边界里现在很多企业做 AI 项目都会先证明一件事AI 能接上系统。能接知识库。能接工单平台。能接运维平台。能接审批流。能接数据库。这当然重要。但“接上”不是终点。真正的问题是接上以后AI 到底能做什么动作同样是一个工单系统。查工单风险不高。创建工单已经进入流程。关闭工单可能影响服务承诺。升级工单可能触发新的责任关系。同样是一个运维平台。查指标是观察。生成建议是辅助。重启实例是处置。修改配置就是生产变更。所以企业真正要管的不是“AI 能不能接入某个系统”。而是AI 在这个系统里到底能做哪些动作。这个问题比“接了几个工具”重要得多。企业过去给人授权本来也是在划边界这件事其实不陌生。企业过去给人授权也不是简单说你能不能进这个系统。而是会区分你能不能查看。能不能新增。能不能修改。能不能删除。能不能审批。能不能导出。能不能发布。一个员工可以查看客户资料不代表可以修改客户信息。可以提交审批不代表可以批准审批。可以查看监控不代表可以重启服务。这就是企业管理里最基本的权限常识。但 AI 进来以后很多团队反而容易忘了这一点。因为大家太容易被“Agent 接了什么工具”吸引。可真正决定风险的不是工具名。而是行动边界。过去企业管理人核心是权限管理。AI 进入生产以后企业第一次需要管理一种新的对象一个会自己理解问题、自己选择工具、自己执行动作的新对象。所以这件事不只是权限设计。而是企业要重新管理 AI 的行动过程。边界不是写出来的是运行时执行出来的真正难的不是写一句AI 只能建议不能执行。也不是在 PPT 里画一条线哪些能做哪些不能做。生产系统里边界必须能被执行。比如你规定AI 只能建议不能直接执行。那企业要能证明它确实没有绕过人工确认。你规定AI 不能修改数据库。那企业要能拦住它通过工具、脚本或账号绕进去。你规定生产变更必须人工审批。那企业要能验证每一次动作有没有经过审批。过去传统系统里这些边界通常由权限系统、审批流、运维规范来执行。但 AI 进来以后问题变复杂了。因为它不是一个简单执行命令的软件。它会理解问题。会选择工具。会生成参数。会决定下一步动作。所以企业不能只给 AI 画边界。还要让边界在运行时真正生效。企业需要一套新的运行治理机制。简单说就是不能只给 AI 一个账号。还要管住它每一步能不能做。换成更具体的话要有一个东西持续决定什么能做。什么不能做。什么必须确认。什么必须拦截。这才是行动边界真正落地的地方。工具入口是边界被执行的位置那为什么还要讲工具入口因为 AI 的行动不是凭空发生的。它每一次查数据、建工单、改配置、跑脚本、推流程最终都会通过某个工具、账号、流程或接口进入真实系统。工具入口不是一个技术细节。它是边界被执行的位置。入口后面连着什么系统。允许做什么动作。动作发生后影响什么结果。这些才是企业真正要看清楚的。行动边界最后要落成一张动作清单前几篇一直在讲AI 进入生产以后企业需要管它的行为。但行为不能只停留在概念上。行为必须拆成动作。所谓行动边界最后要落到一张动作清单上。查询是一类。建议是一类。创建是一类。修改是一类。审批是一类。执行是一类。越往后风险越高。越不能只靠模型自己判断。企业要说清楚哪些动作可以自动执行。哪些动作只能建议。哪些动作必须人工确认。哪些动作必须留痕。哪些动作必须可回滚。哪些动作永远不能交给 AI。这不是保守。这是生产系统的基本常识。过去人做生产变更也不是想改就能改。要有窗口。要有审批。要有灰度。要有审计。AI 进入生产系统以后也不能因为它更聪明就绕过这些东西。看不见边界是否被遵守边界就等于没有我做了十几年生产系统和可观测性越来越觉得生产环境里的规则不能只靠相信。必须能看见。必须能验证。必须能复盘。AI 的行动边界也是一样。你说 AI 只能建议。那就要看见它有没有执行。你说 AI 不能改配置。那就要看见它有没有尝试调用修改工具。你说高风险动作必须人工确认。那就要看见确认发生在什么时候、由谁确认、确认了什么。所以行动边界最后一定会走向 AI 可观测性。这里的可观测性不只是看模型回答了什么。而是看AI 看到了什么。选择了什么工具。生成了什么参数。触发了什么动作。有没有越过边界。有没有留下证据。过去可观测性主要回答系统为什么出问题AI 进入生产以后企业还要回答AI 为什么做出这个动作这才是 AI 行为真正需要被观测的地方。过去我们观测的是请求。服务。数据库。今天开始企业还要观测意图。判断。工具。动作。结果。系统状态正在扩展成行为状态。所以AI 可观测性不是监控模型本身。而是在监控 Agent 的行为边界。最后过去很多企业看 AI先看模型。模型准不准。推理强不强。回答好不好。这些当然重要。但 AI 一旦进入生产真正要先问的是它的行动边界在哪里因为 AI 出问题往往不是“接了哪个工具”这么简单。而是它通过那个工具做了一个不该自动做的动作。所以AI 治理的起点不只是模型治理。而是行动边界。但边界本身并不够。边界要能被执行。要能被观测。要能被审计。企业第一次需要认真回答企业真正要管理的已经不是 AI 会不会做。而是哪些事情永远不能让它自己做。过去企业管理的是人和软件。未来企业还要开始管理会行动的 AI。AI 时代最大的变化不是 Agent 开始行动。而是企业第一次需要观测和治理 Agent 的行动。