摘要知名 AI 研究者 Andrej Karpathy 最近的一番话在业内引起了不少共鸣。他大意是说当下 AI 领域一个很大的问题是人们在还没真正掌握底层模型之前就急着把 Agent 强行推上去干活他还以自己早年在 OpenAI 的经历、以及自动驾驶行业为例提醒大家——做个 Demo 很容易但把它做成真正可靠的产品可能要花上十年如果跳过了打基础的阶段最后一切都会崩。他给出的建议很克制别急着让 Agent 什么都做先把基础能力打牢Agent 自然会长出来。这番话说得很对也很清醒。但它同时留下了一个现实的空档道理我们都懂可 Agent 并不会因为基础还没打牢就停下来等我们。它已经在被大量部署在触碰真实的付款、数据、权限和设备。理想状态是先把模型和基础做扎实再让 Agent 上场但现实是Agent 已经上场了而且不会退回去。这篇文章想讨论的正是这个空档里该怎么办。我们的立场很明确既然挡不住 AI Agent 发展的历史洪流那就退而求其次用一层执行控制尽可能帮 Agent 少犯、或者说不犯那些代价最高的高风险错误。需要先说清楚的是这个立场并不是对 Karpathy 观点的反驳而是对它的接力。他谈的是应该怎么把 Agent 做好这是研究和产品层面的长期功课我们谈的是在它还没做好、却已经在用的当下如何不让它闯下大祸这是安全层面的当下责任。一个向前看十年一个守住眼前这几年两者并不冲突反而缺一不可。我们没法让今天的 Agent 变得完美但我们可以让它在还不完美的时候犯的错不至于变成无法挽回的灾难。一、Karpathy 提醒的是该慢但现实是停不下来Karpathy 的提醒本质上是一句慢下来——先把底层搞懂别被 Demo 的轻松骗了产品化的路很长。这是一个技术研究者非常负责任的态度本系列此前也反复讲过类似的道理Demo 里顺滑地跑通一次和在真实业务里稳定可靠地运行完全是两回事。但技术研究者能建议慢下来市场却往往不听。资本在推竞争在推效率的诱惑在推。当一个公司发现用 Agent 能把过去需要一个团队的活压缩成几天它很难忍住不用当竞争对手已经在用 Agent 自动处理客服、财务、运维时我们再等等等基础打牢这句话在商业上几乎说不出口。于是我们看到的现实是一边是研究者说还没准备好一边是产业界说已经在用了。这两者之间的落差不会因为谁更有道理而消失。它就实实在在地存在着而且随着 Agent 能力越来越强、接入越来越多真实系统这个落差只会越来越大。承认这一点不是悲观而是务实——安全的设计从来不该建立在大家都会理性地慢下来这个不成立的假设上而应该建立在Agent 就是会被提前、被大量、被不那么成熟地用起来这个真实前提上。历史上几乎每一次重大技术变革都重复过这个剧本。汽车刚出现时安全带、交通信号、驾照制度都还不完善但没有人因此把汽车按住不许上路人们是一边用、一边补上这些安全机制的。互联网早期防火墙、加密、身份认证都还很原始但商业和信息照样涌了上去安全体系是在使用的过程中被倒逼出来的。技术的采用速度从来跑在配套安全体系的成熟速度前面——这几乎是一条规律。AI Agent 不会是例外。指望这一次产业界会格外有耐心、会乖乖等到基础完备再动手是违背历史经验的一厢情愿。既然如此与其纠结于该不该现在用不如把精力放在既然一定会现在用怎么用得更安全上。二、洪流挡不住但可以给它筑堤面对一股挡不住的洪流有两种思路。一种是站在上游试图拦住它——要求所有人先把基础打牢再上 Agent这在道理上对在现实中几乎不可能实现。另一种是承认水一定会流下来转而在关键的位置筑起堤坝和河岸让这股水不至于泛滥成灾而是被约束在安全的河道里向前流。执行控制就是后一种思路。它不试图阻止 Agent 被使用也不假装能让 Agent 一夜之间变得成熟可靠。它接受一个前提Agent 会被用起来而且在相当长一段时间里都不会完美。然后它在最要命的地方——高风险动作真正落地之前——筑起一道边界确保即便 Agent 判断错了、被诱导了、或者只是还不够成熟它造成的破坏也被牢牢限制在河道之内。你拦不住河水但你可以决定它流向哪里、能漫到多高。执行控制不是那座拦河的坝而是那道约束泛滥的岸。这也正好呼应了 Karpathy 的自动驾驶类比只是换了个角度看。自动驾驶为什么能在技术还远未完美的时候就已经在真实道路上跑起来靠的不是等到系统零失误的那一天而是靠一整套兜底机制安全员的接管、地理围栏的限定、冗余的刹车系统、明确的运行设计域。这些机制的共同点都是承认系统会出错然后想办法让出错不至于致命。执行控制之于 AI Agent扮演的正是这样一个角色。这个类比还可以再往深里说一层。自动驾驶行业花了十年才慢慢明白一件事真正决定一套系统能不能上路的往往不是它在顺利路况下开得有多好而是它在极端、罕见、意料之外的情况下会不会失控。一个能在 99.9% 的路况下完美驾驶的系统如果在剩下 0.1% 的极端场景里会酿成致命事故它依然不能被放心地交给公众。所以自动驾驶的安全重心从来不在把常规开得更好而在给异常兜好底。AI Agent 的执行安全也是同一个道理Agent 在大多数常规任务里表现得越来越好这值得高兴但真正决定它能不能被托付真实业务的是它在被诱导、被污染、遇到意外状态时会不会做出无法挽回的高风险动作。执行控制盯的正是这后一半——那些低概率但高代价的场景。三、执行控制不假设 Agent 完美恰恰假设它会犯错这是执行控制和很多其他安全思路最根本的区别也是它能在基础还没打牢的现实里立刻起作用的原因。很多安全方案隐含地建立在让主体更可靠这个前提上——把模型训练得更准把提示词写得更周全把 Agent 调教得更听话。这些努力都有价值但它们的方向是减少犯错的概率。而执行控制的出发点完全不同它不去赌 Agent 不犯错它直接假设 Agent 一定会在某个时刻犯错然后专注于回答一个问题——当它犯错时错误能走多远本系列前面讲过这句话真正可靠的系统不是要求上游永远干净而是设计好下游的边界。这句话放在今天这个语境里格外贴切。Karpathy 担心的基础没打牢就上 Agent翻译成执行安全的语言就是上游还很不干净。而执行控制恰恰不要求上游干净——它承认上游可能有误解、有噪声、有诱导、有不成熟然后在下游、在执行真正发生的那一刻用一道独立的边界把越界的动作拦下来。它不需要 Agent 先变得成熟才敢让它上场它让 Agent 可以在还不成熟的时候就相对安全地上场。从这个意义上说执行控制不是要和 Karpathy 的打好基础唱反调而是它的补充。打基础是长期的、正确的方向执行控制是在基础还没打好的这段漫长过渡期里让我们能一边用、一边兜底的现实方案。值得强调的是这种假设会犯错的设计哲学在成熟的工程领域早就是常识而非什么保守或悲观的态度。飞机会假设某个引擎可能失效所以设计了多引擎冗余建筑会假设可能发生地震所以留了远超日常需求的结构余量金融系统会假设交易可能出错所以设计了对账和回滚机制。这些设计从不指望某个部件永不失效而是承认失效必然会发生然后确保单点的失效不会拖垮整体。真正不成熟、也真正危险的思路反而是那种只要我们把它做得足够好它就不会出错的乐观——这恰恰是 Karpathy 所批评的那种明天 AI 会自动进化、到时候一切迎刃而解的心态。执行控制站在的是工程界那条更古老、也更可靠的传统上不赌任何单一环节的完美而是为必然发生的失误预先准备好一道兜底的防线。四、为什么这段过渡期尤其需要执行控制如果 Agent 真的能像 Karpathy 建议的那样等基础扎实了再上场那这段风险最高的日子或许可以被跳过。但现实是我们必须穿越这段过渡期而且这段过渡期恰恰是最危险的——因为它同时具备两个特征Agent 已经拥有了触碰真实世界的执行能力但它的可靠性还远没到匹配这种能力的程度。能力和可靠性之间的这道剪刀差是过渡期风险的核心。一个能力弱的系统即便不可靠也造不成太大破坏因为它本来就碰不到要害一个高度可靠的系统即便能力强风险也可控因为它极少出错。最危险的组合恰恰是能力已经很强、可靠性却还不够——而这正是当下大量 Agent 的真实状态。它们已经能调用支付、能改配置、能操作云资源、能连续执行几十上百个步骤但它们对上下文的判断、对边界的把握、对诱导的抵抗都还处在很不成熟的阶段。在这样一个能力超前于可靠性的阶段指望再等等模型就好了是危险的因为等待期间它已经在碰真实的钱和权限了。这段过渡期不能靠拖延来度过只能靠兜底来度过。执行控制正是那个兜底它不消除能力和可靠性之间的剪刀差但它在这道差最可能酿成大祸的地方——不可逆的高风险动作上——加了一道硬约束让过渡期的不成熟不至于付出灾难性的代价。而且要看到这段过渡期恐怕比很多人想象的要长。Karpathy 用十年来形容从 Demo 到成熟产品的距离这不是随口一说——自动驾驶就是活生生的例子从惊艳的演示到真正可靠的量产走了远超预期的时间而且至今仍在路上。如果 AI Agent 的成熟也需要以年为单位来计那就意味着我们要在这个能力已经很强、可靠性还不够的危险区间里停留相当长的一段时间。这更加说明把安全寄托于过渡期很快就会过去是靠不住的。过渡期越长兜底机制就越不是权宜之计而越接近于一种必须长期存在的基础设施。执行控制不是用来临时凑合几个月的补丁而是要陪着 Agent 走完这段可能长达数年的成长期的长期伙伴。五、执行控制帮 Agent 挡住的是那几类输不起的错需要说清楚的是执行控制并不试图让 Agent 一个错都不犯那既不现实也没必要。Agent 在低风险场景里犯点小错——总结得不够准、分类分错了、生成的草稿要返工——这些完全可以容忍也本就是它在成长过程中会经历的。执行控制真正要帮它挡住的是那几类输不起的错。哪些是输不起的错就是本系列反复点名的那些高风险、不可逆的动作把钱转错地址、把敏感数据导出去、把生产数据库删掉、把最高权限开出去、把密钥用在错误的交易上、把危险指令下发给物理设备。这些动作的共同点是一旦发生就很难甚至无法挽回一次就可能造成致命后果。对这些动作大概率 Agent 不会做错这个概率承诺是不够的因为剩下那一小部分的错误代价太大了。执行控制的价值不在于让 Agent 变成一个不犯错的完人而在于把它可能犯的错牢牢挡在可以承受和无法承受之间的那条线之内。换句话说它是一种对错误后果的分级管理低风险的错放它去犯快速迭代、快速成长高风险的错用一道独立的、不可绕过的边界死死守住。这恰恰让 Agent 可以更大胆地在低风险区域探索和进化因为最坏的情况已经被兜住了。这种分级其实也回应了 Karpathy 担心的那种跳过基础、一切崩塌的连锁灾难。为什么跳过基础会让一切都崩很大程度上是因为在一个没有兜底边界的系统里一个局部的小错误可以自由地传导、放大最终演变成整体的崩溃——Agent 误判了一步这个错误的结果又成了下一步的输入一路滚下去直到造成不可逆的破坏。而执行控制的分级管理恰恰是在这条传导链的关键节点上设了闸低风险的错误可以继续流动因为它们无伤大雅但一旦这条链条即将触碰到某个高风险、不可逆的动作闸门就会落下。它做的事本质上是切断小错误滚成大灾难的那条路径让基础不牢所导致的失误被限制在局部而不至于蔓延成全局的崩塌。六、这不是给 Agent 拖后腿而是给它铺路有人可能会觉得给 Agent 加一道执行控制的边界是在限制它、拖它的后腿和让 Agent 大展拳脚的方向背道而驰。但如果仔细想想结论恰恰相反。真正阻碍 Agent 进入核心业务的从来不是它能力不够而是人们不敢放手。企业不敢让 Agent 碰钱不敢让它管权限不敢让它改生产——不是因为 Agent 做不到而是因为一旦它做错了后果没人兜得起。这种不敢才是 Agent 落地最大的障碍。而执行控制做的正是把不敢变成敢当高风险动作有了一道可靠的兜底边界企业才敢把真正重要的任务交给 Agent因为他们知道即便 Agent 出了岔子最坏的结果也被限制住了。所以执行控制不是 Agent 的刹车片在拖慢它而更像赛车上的安全带和防滚架——正是因为有了这些保护车手才敢把车开到更快。给 Agent 兜底不是为了让它少做事而是为了让它能更放心地去做那些原本没人敢让它做的事。这和 Karpathy 说的把基础打牢Agent 自然会长出来其实是一个意思的两面基础从模型内部打执行控制从外部兜——两者合起来才是让 Agent 既跑得快、又不至于翻车的完整方案。这里还藏着一个常被忽略的正向循环。当高风险动作有了可靠的兜底企业就敢把更真实、更有价值的任务交给 Agent而 Agent 接触到越多真实的高价值场景就能积累越多真实的反馈从而更快地成长和成熟。反过来如果因为不敢放手就把 Agent 长期困在那些无关痛痒的低风险玩具场景里它反而失去了在真实世界里磨砺、进化的机会。也就是说一道好的执行控制边界不仅在保护当下也在加速 Agent 走向成熟的进程——它让 Agent 有机会更早、更安全地进入深水区而这恰恰是 Karpathy 所期待的那种把基础打牢、让能力长出来最终得以实现的现实路径之一。七、把选择权还给现实既然要用就用得起回到最开始那个空档。Karpathy 站在研究者的位置提醒我们理想的顺序应该是先打基础、再上 Agent。这是对的。但绝大多数企业和开发者并不站在研究者的位置他们站在现实的位置面对的是一个此刻就要做的选择Agent 已经能大幅提升效率了我到底用不用如果没有执行控制这个选择会很痛苦——用怕它在高风险动作上闯下大祸不用又眼睁睁看着效率红利溜走被同行甩开。而执行控制恰恰是把这个二选一变成了一个可以两全的方案你可以现在就用上 Agent 的能力同时又不必把身家性命押在它的成熟度上。低风险的活尽管交给它让它在真实场景里快速迭代高风险的活也可以交给它但有一道独立边界在最后一刻替你把关。这才是面对一股挡不住的洪流时最务实的态度。我们不假装自己能拦住它也不因为它还不完美就拒绝它带来的价值。我们承认它会来、会犯错、会在成熟之前就大规模上场然后在它最可能造成不可逆伤害的地方筑起一道确定的、不可绕过的边界。让洪流照样奔流但让它流在安全的河道里。这种态度的可贵之处在于它同时避开了两种极端。一种极端是盲目乐观——把 Agent 当成已经成熟的工具什么都敢交给它直到某一天在一次不可逆的高风险动作上栽了大跟头。另一种极端是因噎废食——因为看到了风险就干脆把 Agent 拒之门外眼看着它在别处创造价值自己却守着过时的方式原地踏步。这两种极端一个赌 Agent 不会犯错一个赌自己可以不用 Agent而现实很快会证明这两个赌注都是输的。执行控制提供的是第三条路既不盲信也不排斥而是用一道清晰的边界把可以放心交给 Agent 的部分和必须被死死守住的部分划分开来。它让用 Agent这件事从一个要么全信、要么全不信的豪赌变成了一个有分寸、有底线、可以理性拿捏的选择。结语Karpathy 的提醒和我们的主张其实并不矛盾甚至是同一件事的两个层面。他从技术演进的角度说别急先把底层模型和基础能力搞扎实这是根治之道。我们从现实落地的角度补一句可基础还没扎实的这些年里Agent 已经在真实世界里跑了所以在根治之前我们需要一层兜底让它跑得起、也翻不了大车。前者是慢功夫是对的但需要时间后者是过渡期里必须立刻做的事因为风险不会等基础打牢了才发生。执行控制不解决如何让 Agent 更聪明这个长期问题它解决的是在 Agent 还不够聪明的时候如何不让它闯下无法收拾的祸这个眼前问题。AI Agent 的发展是一股挡不住的历史洪流这一点我们改变不了。但我们能改变的是当这股洪流经过那些最脆弱、最输不起的地方时有没有一道边界替我们守着。这道边界就是执行控制。挡不住洪流就筑好河岸。我们不奢求 Agent 永不犯错我们只坚持一件事——在它犯下那些无法挽回的错误之前永远有一道独立的边界能够说不。