产品经理把一份对比数据甩到我面前语气略带得意新版页面的停留时长明显比旧版高了12%把结论写进周报吧。我盯着那份Excel心里却莫名发怵。因为做数据分析越久越清楚一件事观测数据里的对比结果往往和真相隔着两层布。后来我拆解完用户行为日志又补了几个特征做因果分析结论彻底反转——新版页面不仅没提升停留时长甚至让轻度用户流失得更快。这个项目让我认认真真补了一整轮因果推断的课其中最实用、最能直接落地到表格数据上的就是本文要讲的图准则。如果你也经常面对这样的处境没有随机实验条件只有一大堆历史日志数据产品或业务方却希望你说清楚某个动作到底产生了多少效果那么从观测数据中识别因果效应的图准则就是你工具箱里最值得优先掌握的那件工具。它不要求你懂复杂的数学推导核心就三件事把变量之间的因果假设画成一张有向无环图找到可以阻断混杂的调整集合然后算出因果效应。1. 一把辛酸泪为什么观测数据里的对比这么容易被带偏1.1 那个让我怀疑人生的12%先说回我自己那个项目。新版页面上线后产品经理给我的是这样一组数字新版用户平均停留时长比旧版多12%样本量好几万P值非常显著。从常规的AB对比思维看这已经可以下结论了。但当时我多问了一句这两组用户真的是一样的吗答案是并不一样。新版页面是用户主动点击进入的而旧版是默认首页。也就是说所谓新版组的用户本来就是一批对产品更有热情、更愿意探索的人。他们在你上线新版之前停留时长就可能比平均值高出15%以上。这个变量叫用户活跃偏好它同时在影响是否进入新版页面和停留时长。在因果推断里这就是最经典的混杂因素。这个场景不是孤例。优惠券发放后复购率升高可能是因为领券的人本来就是高忠诚客户医疗数据库中某药使用者的生存率更高可能是因为处方这种药的医生更倾向于收治轻症患者。观测数据里遍地都是这类陷阱。1.2 观测研究与随机实验之间隔着一条不可能完全弥合的鸿沟随机对照实验为什么是金标准因为随机化把处理变量和所有潜在混杂因素之间的关联都切断了——无论这个混杂你看到了还是没看到。你分到实验组就是实验组跟这个人本来有多活跃没关系。但观测数据没有这个过程。用户是自己选择进入新版页面的医生是自己决定开哪种药的用户是自己决定领不领优惠券的。于是处理组的构成和对照组从一开始就不同任何朴素对比都是在比较两类人的结果差异而不是比较同一个干预的效果。图准则虽然不能把观测数据变成随机实验但它能做一件极其关键的事把你认为世界是怎么运作的这种主观假设变成可以用数据检验和调整的结构。换句话说它告诉你哪些变量需要控制、怎么控制以及什么时候控制反而会引入偏差。1.3 说到因果到底想识别什么东西做因果推断我们真正想估计的不是E[Y | X x]看到处理X时结果的均值而是E[Y | do(X x)]——如果我强行让所有人接受这个处理结果会怎样。这个do算子就是因果和相关的分水岭。观测数据里X的取值是变量间自然关联的结果而do(X x)代表一种干预外部强制把X设成某个值但同时切断所有指向X的其他因素的影响。图准则的全部工作本质上就是在回答能不能用观测分布P(Y | X, Z, ...)把P(Y | do(X x))表达出来。如果能我们就叫它可识别。2. 动手前的必要功课把因果假设画成有向无环图2.1 为什么要画图而不是直接用回归很多人在处理这类问题时第一反应是把所有能拿到的特征全部塞进回归模型觉得控制得越多越干净。这是大坑后面我会专门讲。图准则的价值恰恰是把该控制什么从玄学变成几何问题。有向无环图DAG由节点和有向边组成每个节点是一个变量每条有向边代表一个因果效应方向比如A → B表示A的变化会引起B的变化。无环的意思是因果箭头不能绕圈回去因为如果X影响Y、Y又影响X我们就说不清谁先谁后了。画好图之后判断两个变量之间是否存在虚假关联、能不能被阻断、阻断需要哪些节点都有明确的图形判定方法。这比在回归模型里看系数显著性和VIF要可靠得多因为回归本身不会告诉你模型设定是否正确。2.2 三步画出能用的因果图第一步把你认为有关的变量全部列出来。包括处理变量X、结果变量Y、可能的混杂、中介变量、以及你怀疑会影响结果的任何因素。有时候还要包括你观测不到但理论上存在的变量比如用户潜在偏好。第二步排序。按时间先后或者机制先后把变量排个序。只有先发生的变量才能影响后发生的变量。这个环节最依赖领域知识数据本身不会告诉你因果方向。第三步连边。在两两变量之间依据你的业务理解画出有向边。如果你不确定方向那就别画——保持不连也比随便连一个方向强。画完之后拿给业务方或懂这个领域的人看一遍确认这张图代表的是大家共同认可的机制假设。2.3 一个贯穿全文的案例图为了让后面几个准则好理解我设计一个简单的业务案例某电商平台想知道发放优惠券X对用户30天内复购Y的因果效应。领域知识告诉我用户最近30天的浏览活跃度Z会影响他是否领券、也直接影响复购用户收入U未观测也可能同时影响领券意愿和复购能力此外优惠券会先影响用户首次下单的体验M再由M影响复购。这个案例对应的DAG就是Z → XZ → YU → XU → YX → MM → Y。请注意X和Y之间存在直接来源的混杂路径恰好是后门准则要处理的典型场景。3. 后门准则消除混杂最常用的第一把钥匙3.1 什么是后门路径为什么要阻断它在DAG里从X到Y的路径分为两类。一类是纯粹的因果路径箭头从X出发一路向前指向Y比如X → M → Y这类路径是因果效应传递的通道不能动。另一类是非因果路径它的特点是有一条箭头指向X比如X ← Z → Y。这类路径会让X和Y产生虚假关联即使X对Y没有任何因果作用两者也会统计相关。这类箭头指入X的路径简单说就是从X背后绕进来的因果推断文献管它叫后门路径。要识别因果效应前提就是把所有从X到Y的后门路径全部阻断。阻断的意思就是通过控制路径上的某些节点切断这条虚假通道上的信息流动。3.2 后门准则的判定与调整逻辑后门准则的标准表述是如果存在一个变量集合W满足两个条件那么就可以通过调整W来识别因果效应。条件一W阻断X到Y之间的所有后门路径条件二W中不能包含X的任何一个后代节点这个限制是为了防止你不小心把中介变量也控制掉。满足后门准则后因果效应就可以表达为对观测分布的调整公式E[Y | do(X x)] Σ_w E[Y | X x, W w] · P(W w)写成直观的操作步骤就是三步。第一步算出不同W水平下X对Y的条件平均效应第二步按W在总体中的分布加权第三步得到加权后的总效应。这里的权重P(W w)是把人群按W分层各层权重取该层在总人群中的占比。之所以要这样加权是因为我们要模拟的是一种全体人群都接受干预的假设状态而不是只看某一类人。3.3 在案例里具体怎么选调整集回到优惠券案例X到Y的后门路径有两条X ← Z → Y以及X ← U → Y。Z是观测到的活跃度可以直接进调整集U是收入观测不到。如果现实中我们拿不到收入数据那后门准则在这里就不完全成立识别出的效应仍有偏差——这很真实后面我会聊到实务上怎么处理这类未观测混杂。另一种情况更隐蔽有些人为了保险把M首次下单体验也加进回归。这在后门准则下是大忌。因为M是X的后代控制M等于挡住了X → M → Y这条因果传导路径的一部分你估计出来的就不再是总效应而是剔除中介后的直接效应。如果业务想要的就是发券带来的总效果这个做法就直接失真了。3.4 实操小知识怎么检验调整集是否够了理论归理论落到数据上怎么判断阻断干净了有两条经验。一是看调整后的处理组和对照组在已测协变量上是否均衡比如用标准化均值差SMD通常小于0.1就算可以接受。二是在敏感性分析里做阴性对照找一个理论上不受X影响、也不该受混杂影响的结果变量看看模型里它是否还和X显著相关。如果相关说明还有路没堵上。4. 前门准则和工具变量当后门走不通时的两条备选路线4.1 前门准则通过中介变量绕道识别后门准则很实用但它有个硬前提你得能找到一组观测到的、能阻断所有后门路径的变量。现实经常不给面子尤其是存在未观测混杂时这个条件直接卡死。这时候前门准则提供了一个完全不同的思路。前提是存在一个中介变量M满足X只通过M影响YX对M的效应是可识别的M对Y的效应在给定X的条件下也是可识别的。一句话概括虽然X到Y之间有条被混杂污染的直接后门路径但我们不直接走而是拆成X → M和M → Y两段每段都能用观测数据调整清楚。公式长这样P(y | do(x)) Σ_m P(m | x) · Σ_x P(y | m, x) · P(x)注意内层的Σ_x是遍历X的所有取值把x当作条件。这不是笔误它的用意是在给定中介状态m时对X做一遍标准化从而剥离掉混杂造成的X与Y的虚假关联。实际项目里前门准则用得比后门少因为它对中介变量的要求很高而且中介变量本身也要满足很强的无混杂条件。但遇到合适的结构时这个绕行思路会很优雅。4.2 工具变量寻找天然的随机扰动工具变量是另一条经典路线。要求存在一个变量Z满足三个条件Z影响XZ和Y之间没有直接的因果路径也不存在打开两者通道的后门Z对Y的效应只能通过X实现。形象点说Z是那个只推了一下X、别的都不干预的角色。最贴近生活的例子是药物依从性研究。医生想知道按医嘱吃降压药对心血管事件的效果但病人吃不吃药跟健康意识等混杂因素有关。这时到诊所的距离可以作为Z它影响病人是否方便取药影响X但它本身不直接作用于心血管风险不影响Y也不跟其他混杂形成路径。这样Z带来的那部分X的变异就是相对干净的随机扰动用它就能反推出X对Y的真实效应。在简单的二元情况下效应估计量就是协方差之比ATE cov(Z, Y) / cov(Z, X)这个公式为什么成立因为cov(Z, Y)反映的是Z通过X传递到Y的效应除以Z对X的驱动强度就换算成X单位变化对应的Y变化。4.3 三种准则放一起什么时候选哪个我把三种方法的核心差异整理成一张表方便你在实际项目里快速做选择。准则核心前提需要观测到什么常见失败原因后门准则找到能阻断所有后门路径的变量集所有相关混杂可观测存在未观测混杂误控中介前门准则存在合适的中介M且各段效应可识别X到M、M到Y之间的混杂可处理中介变量本身受混杂影响M的测量误差太大工具变量存在只通过X影响Y的外生变量ZZ满足排他性约束Z和Y之间实际存在直接路径弱工具变量选型的逻辑很直白先看能不能凑齐后门调整集不行就想前门和工具变量。但对工具变量要格外警惕现实中很多看起来合理的Z经不起深挖一个不满足排他性约束的Z给出的偏差可能比朴素回归还大。5. 识别之后的落地从调整公式到真实数据估计5.1 识别和估计是两码事很多入门者看到识别两个字就以为任务结束了其实识别解决的是理论公式是否成立的问题估计解决的是实际数据怎么算出来的问题。举个例子后门调整公式里要求按P(W w)加权这个权重在数据里怎么算、样本量不够分层太细怎么办、连续型W怎么处理都属于估计的范畴。好在操作层面有成熟的套路。我按优先级推荐三种。第一种直接分层加权W只有少数几个离散水平时好用第二种回归调整相当于把E[Y | X, W]假设成线性模型Linnear的形式好解释、也容易实现第三种倾向得分加权IPTW先把每个样本接受处理的概率建模出来再用倒数作为权重让处理组和对照组在W上均衡。5.2 一份可以直接改的Python示例我用案例数据写一份用倾向得分加权估计ATE的代码骨架你拿到自己项目里改改列名就能用。import pandas as pd import numpy as np from sklearn.linear_model import LogisticRegression df pd.read_csv(marketing_data.csv) covariates [active_days_30, recent_views, income_level] # 第1步估计倾向得分 e(x) P(coupon1 | covariates) ps_model LogisticRegression(max_iter1000) ps_model.fit(df[covariates], df[coupon]) df[ps] ps_model.predict_proba(df[covariates])[:, 1] # 第2步稳定化权重减少极端权重带来的方差 df[weight] np.where( df[coupon] 1, df[ps].mean() / df[ps], (1 - df[ps].mean()) / (1 - df[ps]) ) # 第3步加权估计平均处理效应 ATE y1 np.average(df.loc[df[coupon] 1, repurchase], weightsdf.loc[df[coupon] 1, weight]) y0 np.average(df.loc[df[coupon] 0, repurchase], weightsdf.loc[df[coupon] 0, weight]) ate y1 - y0 print(fATE {ate:.4f})用稳定化权重而不是原始逆概率权重是为了防止那些倾向得分接近0或1的样本权重爆炸把整个估计的方差拉大。如果算出来的权重出现了几百上千的极端值多半是倾向得分模型有问题或者处理组和对照组的协变量分布差距太大要回去检查特征工程。5.3 就算效应算出来了结果怎么解读才不误导业务即使你严格走完了图准则的流程报告的因果结论也建议写成在给定的因果图和调整集下估计的ATE为xx而不是发券使复购率提升xx个百分点。这不是胆小而是诚实。因果推断的结论质量依赖假设明确交代假设边界业务方才能知道什么情况结论可能失效。另外建议在正文之外附上两组诊断权重分布图和倾向得分重叠图。重叠太差说明处理组和对照组在协变量上几乎不重叠这时候任何调整都是在做危险的外推结论别拿去指导决策。6. 图准则实操中的四个隐蔽坑踩过才记得住6.1 坑一把中介变量当混杂控制掉这是我最常在新手代码里看到的问题之一。症状是明明数据里有一个用户领券后填写了体验问卷评分的变量顺手就把它放进回归当控制变量。结果本来显著的正效应变得不显著甚至变成负的。原因前面说过这等于把X → M → Y这条因果通道给切掉了。修复很简单动笔之前在DAG上标清楚哪些是混杂、哪些是中介。凡是X的后代节点一律不进调整集。6.2 坑二筛选样本筛选出一个对撞偏差如果你习惯性地过滤掉某些人群再分析请格外小心对撞结构。最经典的例子是名校效应分析只看入职后的员工发现学校声誉越高入职后绩效评估反而越低——但这不是因果是因为筛选条件是被录用名校和绩效都共同打开这条路在给定被录用时两个本来独立的因素被迫呈现负相关。这种由对撞节点诱导出的虚假关联是条件作用导致偏差最典型的形态。图准则对应的处理方法是只有当你需要阻断的是对撞节点的因果后代表现出来的混杂时才去控制它否则任何看这里才发现的现象都要警惕是不是对撞偏差。6.3 坑三未观测混杂实在消除不掉就别硬装没看见说实话大多数商业场景里纯正的未观测混杂普遍存在比如用户潜在偏好、家庭收入、教育背景。如果后门准则因为缺变量而不满足有两个务实路线。第一找一个合理的代理变量加进调整集比如收入不好测但客单价和住宅区划能当粗糙代理第二做绑定分析报告一个在未观测混杂强度达到多少时结论会翻转的阈值。这样业务至少知道结论的敏感程度不至于在未知风险上裸奔。6.4 坑四图一画完就当一劳永逸因果图的正确用法是动态迭代不是画完就钉死。一个新特征上线了一个业务规则改了DAG都要跟着更新。我习惯把DAG版本和代码版本一起放进项目仓库评审时直接看因果假设变更记录。这样即使后来接手的人不了解当时的业务上下文也能快速搞明白当初为什么选那组调整变量。时间久了这堆假设记录反而比模型本身更有价值。在我自己的实践里还有一个不成文的小习惯画完DAG之后我会专门花十分钟列一下哪些结果如果出现说明我的DAG是错的。比如案例里如果我调整活跃度之后沿用优惠券负效应依旧显著那可能说明还有一条我没考虑到的负面中介路径。这种反向质问本质上是在给自己的因果假设做压力测试比跑一百次显著性检验都有用。观测数据永远不会主动把因果真相送到你面前但图准则至少能让你知道自己站在哪、脚印往哪个方向走这是它最可贵的地方。