AI平权时代,量化研究的下一个胜负手:因果认知

发布时间:2026/10/6 20:11:14
AI平权时代,量化研究的下一个胜负手:因果认知 在量化研究圈子里泡了这么多年我越来越觉得一个事特别值得聊AI技术平权之后大家手里都拿着差不多的工具跑量的差距越来越小超额收益到底靠什么撑起来前几年我们还在比谁的因子库大、谁的模型迭代快、谁的GPU更多可到了现在开源框架、大模型辅助编程、AutoML这些基本成了标配隔壁团队用三天做出来的东西你用半天也能整出来。这时候还靠堆工具堆算力基本是吃力不讨好。我自己的答案是Quant研究的下一轮价值分化不在工具层而在认知层尤其是因果认知。AI能帮你从海量数据里找到相关关系但它不会告诉你“这个因子为什么有效”“这个关系什么时候会失效”。搞清楚后者靠的是因果推断的思路——也就是从“找相关”升级到“找真因”。这篇文章我会结合自己这些年做量化研究的经历聊聊AI平权到底给Quant带来了什么以及怎么用因果认知的框架重塑个人和团队的研究价值。内容既适合刚入行想理顺思路的新人也适合正在转型的资深研究者参考。1. AI技术平权——Quant研究的门槛塌了1.1 工具箱的民主化人人都能开实验室先聊一个特别直观的变化工具门槛。我记得早几年做量化光是把数据、回测、因子分析这一套流程跑通就得折腾很久。数据库要自己搭因子分析要自己写回测框架更是各种魔改动不动就遇到订单撮合逻辑不对、手续费税费没算清这种基础但极其耗时的坑。团队里的“基础设施党”和“策略研究党”经常互相看不顺眼本质原因是工具不够成熟被逼着自己造轮子。现在完全不一样了。像pandas、numpy这种基础数据处理工具就不说了LightGBM、CatBoost、XGBoost这些机器学习库已经是标配Prophet、statsmodels这类时间序列和统计工具也早就模块化了。回测方面有backtrader、zipline、vectorbt这些开源方案甚至有些商业平台提供了拖拽式的因子开发和回测界面。再加上AutoML工具的成熟连超参数搜索和特征工程的部分都可以半自动化。换句话讲一个刚毕业的实习生只要愿意花两周时间熟悉这些开源组件就能搭建一个堪用的研究环境。这个变化意味着什么意味着“能不能做量化研究”不再是一个门槛问题而是默认能力。过去需要一支五到十人团队、几十万基础设施预算才能启动的研究项目现在一个人一台电脑加云服务器就能跑起来。工具平权之后你很难再用“我们没有好的框架”来解释策略效果差——框架人人都有差别在于你怎么用。1.2 大模型的平权效应研究节奏变了第二个明显的变化是大模型对研究流程的深度渗透。我自己的体感是AI辅助编程至少帮我把代码相关的工时压缩了四成以上。写一个pandas的复杂分组聚合、写一个回测脚本的参数化配置、甚至重构一段祖传的嵌套循环代码过去可能各需要半小时到一小时现在交给AI编程助手几轮对话就能产出能跑的版本。这还不是最关键的。大模型对Quant研究更深远的影响是它极大缩短了“从想法到验证”的周期。以前你冒出一个因子想法光是把数据清洗好、把回测逻辑写好、把结果整理出来一天就没了。现在借助AI辅助代码生成和Notebook式研究环境一两个小时就能完成一轮初步验证。这样一来研究者每天能验证的想法数量明显增加从“一周试三五个想法”变成“一天试十来个想法”。这个节奏的改变表面上是效率提升实际上是把研究重心从“写代码”转移到了“提问题”。你问AI什么问题、怎么判断它给的方案是否合理、如何设计验证实验这些才是真正考验研究者认知深度的环节。工具平权之后谁的提问质量高、谁的实验设计严谨谁就能更早发现有效信号。这也引出了我后面要重点说的因果认知——如果你只能问“A和B有没有相关性”AI会快速给你一堆统计结果但这些结果往往经不起时间检验。1.3 平权不是终局相对收益决定了你必须往上走说到这我得泼一盆冷水。AI技术平权让所有人都变强了但在量化这个零和博弈属性很强的领域里“所有人都变强”约等于“没有人变强”。超额收益是相对概念当你用一个公开的机器学习框架跑出一个因子全市场可能有一堆人也在跑类似的因子这个因子的拥挤度会快速上升收益自然会被抹平。早期那些靠“我会用机器学习”“我有GPU集群”就能获得优势的阶段确实一去不复返了。现在真正的稀缺资源变成了你能不能在别人都在挖掘同样数据、跑同样模型的时候发现别人没看到的结构性机会。这就需要你比模型多理解一层——理解这组数据背后的生成机制、理解价格行为的驱动因素、理解什么条件下这个规律会改变。这些都不是技术问题而是认知问题。所以我的判断很明确AI平权只是第一幕它把Quant研究的门槛拉平了但下一个拉开差距的战场是从相关到因果的认知突围。谁能在AI给出的相关性表象之上构建起因果层面的理解谁的研究价值就能被真正释放。2. 为什么“因果认知”是下一步——相关性的天花板2.1 机器学习本质是相关性引擎别神化它先把一个底层逻辑说透包括深度学习在内的主流机器学习算法本质都是相关性引擎。它们做的事情是从历史数据中学习输入特征和输出标签之间的统计关联然后用这个关联去做预测。模型拟合得再漂亮、验证集精度再高它告诉你的也只是“在历史数据里这些特征与结果存在某种稳定的共变模式”。为什么在金融市场里纯粹依赖相关性的模型会经常失效因为市场不是物理实验不是一个稳定的系统。一个相关性模式之所以存在背后通常有某些机制在支撑——可能是投资者行为偏差可能是市场微观结构特征可能是信息传播的路径。一旦这些支撑机制发生变化监管改了、参与者结构变了、交易规则调整了单纯的数据关联就会迅速瓦解。更麻烦的是金融数据里的“相关”特别容易骗人。因为金融时间序列大多有趋势和自相关性两个完全无关的变量在样本内都能跑出很高的相关系数。你要是跑个上千个随机序列的配对测试几乎总能找到统计上显著的相关对——这就是典型的伪相关。机器学习模型在变量多的时候特别擅长捕捉这种伪相关然后给你一个在样本外很快失效的“规律”。2.2 金融数据里的经典因果陷阱不是一个“技术问题”在Quant研究里最经典的莫过于幸存者偏差。比如回测一只指数增强策略时如果使用的股票池是“当前仍处于上市状态”的股票那么那些已经退市、暴跌的股票就被系统性地排除在外了。这样测出来的策略表现会虚高而这并不是模型的问题是数据构建环节就已经埋下了因果推断的地雷。类似的还有前视偏差用到了T日收盘后才能拿到的数据却在T日盘中或T日开盘就执行了交易信号。这类错误在代码层面往往极其隐蔽可能是数据没对齐、可能是未来函数混进去了、可能是时序切分时出了问题。你以为自己在训练一个有效的模型实际上模型在“作弊”——它悄悄看见了未来的信息。还有遗漏变量偏差。比如两个因子A和B都与收益相关A和B之间又高度相关如果不做因果层面的分析你很难判断到底是A驱动收益还是B驱动收益抑或是背后某个变量C同时驱动了A、B和收益。机器学习模型为了解决预测问题会把A和B都塞进去反正交叉验证分数高就行。可一旦C发生变化模型就懵了因为它在A、B和收益之间建立的“假关系”没法在新环境里继续成立。这些陷阱说明一个事做高频的、短期的预测相关性模型还能靠不断重训练来硬撑但做中低频、需要稳定逻辑支撑的策略相关性思维只会把你带进各种坑里。要爬出来必须开始做因果层面的思考。2.3 因果思维的核心反事实问题与干预因果思维的起点是学会问“反事实问题”。比如你观察到一个因子F和未来收益正相关你想知道的其实不是“历史上F高的时候收益是不是也高”而是“如果我现在把组合中该因子的暴露调高未来的收益会不会因此改变”。后者才是一个干预性的问题它关注的是变量的变化是否会带来结果的系统变化而不是单纯的统计关联。这个区别对Quant研究很重要。因为你在实际投资中做的每一个操作本质上都是在做干预——调整权重、改变持仓、切换信号。如果模型只告诉你“历史上正相关”却没有告诉你“主动改变这个暴露能否带来超额收益”那你的决策依据就是残缺的。因果认知也让我们更清醒地意识到很多因子之所以在历史回测中有效可能是因为它们“伴随”了某些真实驱动因素。比如某个技术类因子在特定市场环境下表现好可能它本身不是驱动者而是与市场情绪周期或流动性环境同步变化。当你理解了这层因果关系你就能预判在这个环境反转的时候因子大概率会失效——而不是傻乎乎地认为“历史规律永不改变”。2.4 找市场不变量穿越非稳态的锚聊到“规律失效”就牵出一个更有价值的话题市场不变量。物理世界有守恒律金融市场虽然混乱但也有一些在长时间维度上相对稳定的结构性关系。因果认知帮我们找的就是这些不变量背后的机制。举个简单例子风险溢价承担特定风险应该获得相应补偿这是一个因果层面的逻辑而非单纯的统计规律。只要你认可市场参与者整体是风险厌恶的那么高风险资产相对于低风险资产就有系统性溢价这个因果关系长期成立。至于用什么指标去测度风险、溢价到底多大那是统计层面的问题会随时间变化。但底层因果逻辑不会轻易消失。另一个例子是流动性折价流动性差的资产交易者会要求更高的预期回报作为补偿。这个因果机制同样在不同市场、不同资产类别里反复出现。理解这些不变量你就有了穿越市场风格切换的锚。当你面对一个看似“失效”的因子时你会先问是底层因果机制变了还是只是测量方式过时了这比直接扔掉因子或硬扛着继续用要高明得多。3. 因果框架落地——从学术概念到Quant研究工程3.1 因果问题先行研究流程里加一步我强烈建议在你现有研究流程里正式加入一个“因果问题定义”环节。这不是让你写学术论文而是让你在开展任何因子研究之前先花十分钟回答三个问题处理变量是什么结果变量是什么主要混杂因素是什么举个例子。假设你要研究“分析师上调评级”这个事件对股票收益的影响。处理变量就是“是否发生了上调评级”结果变量是“事件后N日的超额收益”混杂因素可能包括“公司市值”“行业板块”“已有动量趋势”“公告前市场情绪”等。如果你跳过这步直接跑事件研究那就很容易把“上调评级后的收益”完全归因于评级事件本身而忽视了可能同时驱动事件发生和收益变化的公司基本面改善。加了这个环节之后你的研究逻辑会清晰很多。你不会再满足于“我跑了个回归系数是正的”而是会追问“这个正系数到底是因果效应还是混杂造成的偏误”。这真的是一个思维习惯的转变对我来说也是Quant研究从“数据流水线”升级为“科学实验”的关键一步。3.2 因果方法工具箱量化版本的应用清单因果推断在学术上有一套成熟的方法论我挑几个在量化研究中最常用、最容易上手的来说。工具变量法。这个方法的核心是找到一个“外生冲击”变量——它影响你的处理变量但不直接通过其他路径影响结果变量。用它在金融市场里的一个经典场景就是利用指数成分股调整来研究“被动买入对股价的影响”。指数调整的公告可以视为外部冲击它导致大量被动资金必须买入某只股票但调整本身与公司基本面无关。通过观察调整前后的股价变化你能更干净地识别出“资金流入对股价的因果效应”而不是被“公司基本面改善”这类混杂因素污染。双重差分法是另一个很实用的工具。当某个政策、规则或市场事件将样本分为处理组和对照组时你可以比较两组在事件前后的差异变化。比如交易所降低某类产品的交易费用只有部分产品适用那就可以用双重差分来识别“交易成本对交易量和波动率的影响”。这个方法比起单纯的事件前后对比更有说服力因为它控制了处理组和对照组在事件前的共同趋势。断点回归也很有用。它利用一个可观测的分配变量在某个阈值处产生的跳跃来估计因果效应。比如A股市场有涨停跌停机制价格在触及阈值时后续行为会出现系统性变化。比较恰好接近阈值两侧的股票可以识别出涨跌停机制本身对后续波动和流动性的影响。类似的方法在基金申赎规则、退市风险警示触发条件等场景里都能找到应用。再往后就是机器学习与因果推断的结合比如因果森林、异质处理效应估计。这些方法帮你回答的不是“平均效应是什么”而是“对于哪一类股票、哪一种市场环境下这个因子的效应更强或更弱”。这对构建精细化策略特别有价值——你不再用一个笼统的平均值来指导交易而是知道因子在什么条件下最可靠。3.3 用开源工具做因果推断DoWhy与EconML实战视野理论讲得再多落不了地也是白搭。好消息是因果推断已经有了不错的生产力工具。我最常用的两个Python库是微软开源的DoWhy和EconML。DoWhy的特点是提供了一个清晰的因果分析流程建模、识别、估计、反驳。四步走完你既能看到估计出来的因果效应大小也能做多种稳健性检验。它的设计哲学我很喜欢——先让你明确画出因果图再用数据去估计因果效应。这一下就把“我到底在做什么假设”摆到了台面上避免了很多研究员“跑了个回归就当因果”的偷懒行为。EconML则更偏机器学习和因果的深度融合特别是异质处理效应估计。比如你想分析“某个技术因子对收益的影响在不同换手率水平的股票里是否有差异”EconML里的CausalForest就能帮你训练出一个可以输出条件平均处理效应的模型。处理效应不再是固定数字而是特征空间的函数——这直接可以输入到策略配置环节决定因子在哪些标的上给更大权重。简单给大家看一眼用DoWhy搭因果分析的代码结构能更直观理解流程import dowhy from dowhy import CausalModel # 假设df_factor是你的因子研究数据 # 包含处理变量exposure结果变量future_return混杂变量momentum, size, sector_code等 model CausalModel( datadf_factor, treatmentexposure, outcomefuture_return, common_causes[momentum, size, sector_code, liquidity] ) # 识别因果效应 identified model.identify_effect() # 估计因果效应 estimate model.estimate_effect(identified, method_namebackdoor.linear_regression) # 反驳检验用随机共同原因检验 refute model.refute_estimate(identified, estimate, method_namerandom_common_cause)这段代码最核心的部分就是common_causes参数——它要求你显式声明哪些是你认为的混杂因素。这就是因果思维和机器学习思维最大的区别传统机器学习只管把特征塞进去而因果分析逼着你思考变量之间的结构关系。3.4 因果思维与AI协作大模型当助手因果框架当裁判有一个实践心得值得分享AI技术平权之后大模型完全可以当你的因果分析助手但裁判得是你自己。具体来说我经常让大模型帮我做两件事。第一辅助构建因果图。我给它描述一个市场场景比如“大宗交易折价率、机构持仓变动和股票短期超额收益之间的关系”它会列举出可能的混杂因素、中介变量和反向因果路径。这些信息我用来参考但不会盲信——它毕竟没有真实的市场经验给出的因果结构可能有遗漏。第二辅助生成稳健性检验的代码。比如我刚做完一个倾向得分匹配分析想检查匹配后协变量是否平衡我会让大模型帮我写一份详细的诊断代码。这种辅助特别节省时间但前提是我知道该做什么检验、结果怎么看——这个判断力只能靠因果认知的积累AI替代不了。说白了AI平权给我们的不是“答案”是“快速产出候选答案”的能力。而因果框架就是对这些候选答案进行严格筛选的裁判机制。没有裁判你就会被一堆互不相容的统计结果淹没有了裁判你才能从噪声中分辨出真正有驱动力的信号。4. 完整案例拆解——从“低波动异象”到“低波因果机制”4.1 一个看似简单却总“失效”的经典因子聊完方法论我用一个经典且直观的因子——低波动异象来完整走一遍因果化研究流程。低波动异象说的是历史上波动率较低的股票组合长期收益往往跑赢高波动股票组合这违背了经典金融学“高风险高收益”的直觉。很多研究者和从业者用这个异象做低波因子策略但实践中经常会发现它时灵时不灵有时候甚至出现大幅回撤。为什么一个被大量文献验证过的异象实盘起来这么不靠谱最开始大家习惯用“因子拥挤”“市场风格切换”来解释但这些解释都是事后的、描述性的对策略优化帮助有限。要想真正解决问题得用因果框架重新问几个关键问题低波动和超额收益之间的因果方向是什么是不是存在某个隐藏变量同时影响了波动率和收益低波动本身是驱动因素还是只是公司质地、行业属性等真实驱动因素的表征4.2 用框架重新定义低波研究在做低波因子的因果分析时我把研究设计拆解如下处理变量不是“波动率数值本身”而是“相对市场组合的波动率暴露”——可以理解为如果一个组合的波动率被主动压低到市场水平以下这算一次“干预”。结果变量是组合的未来风险调整收益用夏普比率或信息比率来测度。混杂因素就很多了市值小盘股天然波动更高、估值因子、流动性水平、行业赛道属性还有市场整体状态牛市里高波动反而领涨是常态。有了这个结构就能看清楚了。过去低波异象之所以在某些阶段失效很可能不是波动率本身不提供溢价而是因为控制变量没做好。比如你选了一批低波动股票其实里面掺杂了大量低估值、高股息的价值股一旦市场风格切到成长占优价值股整体跑输低波策略就显得“失效”了。但从因果角度看这个失效并不是“波动率因果效应消失”了而是你没能把波动率暴露从行业和市值等混杂因素中分离出来。4.3 实证中怎么做匹配、加权和异质性分析在实际操作中我用因果推断的方法重新评估了低波因子的价值。其中一个关键步骤是倾向得分匹配先估计每只股票进入低波组合的概率基于市值、行业、流动性等协变量然后在高波和低波股票池中做配对确保两组在协变量分布上尽量一致。这样比较它们的未来收益就能更干净地识别出“波动率暴露”本身的效应。还做了异质处理效应分析。结果很有启发低波暴露在沪深300成分股里的平均因果效应和小盘股里的平均因果效应方向存在差异。在机构占比较高、流动性较好的股票池里低波的“避险耐心资本溢价”效应更强而在投机属性强的小票里低波更像是一个流动性差的代理变量因果效应并不稳定。这个结论直接影响了我的策略配置决策。我不再在所有股票上一视同仁地应用低波因子而是把它拆成两个不同逻辑的子策略一个面向大盘蓝筹的低波增强版本另一个在小盘域里干脆不压波动改用流动性约束来控制风险。整体表现最直接的提升就是回撤控制变好了而且市场风格切换时策略的解释变得很清晰——我知道赚的是“波动率暴露溢价”还是“流动性风险补偿”不会一笔糊涂账。4.4 现场日志一次完整的因果化研究复盘回头复盘这个案例我把自己的研究步骤整理成了七个环节方便大家照搬。第一步提出因果问题波动率暴露对收益的因果效应在哪些股票池里显著为正第二步绘制因果图列出处理变量、结果变量、混杂因素和可能的中介变量。第三步用倾向得分匹配清洗样本协变量包括市值、估值、行业、流动性、动量。第四步做处理效应估计用线性回归和因果森林各跑一遍对比结果。第五步异质性分析按市值分桶、按行业分桶、按换手率分桶分别看效应变化。第六步稳健性检验换匹配方法、换结果窗口期、增加未被模型认定的协变量。第七步回到策略根据异质效应结果调整因子在不同股票池的权重系数。这套流程走完你对策略的理解深度是完全不一样的。以前我只知道“低波有效”现在我知道“在什么条件下低波因果关系成立什么条件下不成立”。这种认知带来的策略适应性远远超过多跑几个机器学习模型所能提供的改进。5. 常见问题与排查技巧——那些年踩过的坑5.1 踩坑一把“相关调整”当因果结果这是我见过的频率最高的误区。很多研究员在用DID或工具变量做完分析后看到一个显著系数就喜滋滋宣布发现了因果关系。但细看他们的设计要么是工具变量选得离谱没有解释为什么它与结果无关要么是处理组对照组的平行趋势假设完全没有验证要么是控制变量里混入了中介变量把本应是结果路径上的变量当混杂控制了造成“过度控制偏差”。排查建议每次因果分析第一件事不是看P值而是写清楚你的识别假设。比如用DID平行趋势检验图是必须的。用工具变量要解释工具变量的排他性约束。用倾向得分匹配一定要检查匹配后的协变量平衡性别只报一个ATT系数就开始下结论。5.2 踩坑二工具变量找成“伪工具”工具变量法听起来很高级实际使用中特别容易用歪。金融市场里很多所谓的“工具”并不同时满足相关性和排他性。比如用“换手率”当工具变量来分析“机构持仓变化对收益的影响”就不是合理的IV换手率直接与收益的波动和流动性相关根本排不干净。我现在的经验是能用自然实验最好比如指数调整、规则切换、外生政策事件。如果没有清晰的自然实验宁可不用IV改用匹配类方法加多组稳健性检验也远远好过用个伪IV硬撑因果结论。5.3 踩坑三忽视时间窗口因果结构发生漂移金融市场的因果结构可能随时间变化。一个短线因子在市场微观结构改变后其驱动机制完全可能变掉。比如手动T0时代和量化T0时代很多反转因子的因果逻辑就完全不一样。如果在五年长窗口上跑一个平均因果效应结论很可能掩盖了不同阶段的结构性差异。我的习惯做法是分段估计把样本按市场状态牛熊、流动性环境、监管周期切分分别看因果效应是否一致。如果不一致就去找结构性断点并解释原因。这个方法帮助我规避了很多“假长期有效”的因子陷阱。5.4 踩坑四建立“过度复杂的因果图”因果图是好的工具但也会被滥用。新手容易在因果图里塞几十个变量试图把整个金融市场画进去。这会让识别变得极其困难——变量一多后门路径就多任何一个路径上有一个遗漏混杂估计的因果效应就会有偏。而且过度复杂的因果图和数据驱动挖掘没什么区别本质上又回到了相关性的老路上。5.5 常见问题速查表常见问题典型表现排查思路推荐工具伪相关样本内拟合极佳样本外快速失效检查是否存在共同趋势或混杂变量DoWhy随机共同原因检验弱工具变量IV回归系数异常大/标准差异常大F统计量是否大于10是否过度识别statsmodels、linearmodels平行趋势不成立DID处理组对照组的趋势在事件前已经发散画事件前趋势图做安慰剂检验手动画图placebo检验幸存者偏差回测收益虚高实盘跟不上检查标的池构建时间点和退市股票处理自建无前视偏差数据集因果漂移分段样本的效应方向不一致结构性断点检测分段回归ruptures库样本量太小效应估计波动剧烈用稳健标准误、自举法检查置信区间statsmodels、bootstrap5.6 值得长期关注的学习资源我从不觉得因果推断是“看完一本书就会用”的技术。想系统提升我建议从经典教材入手比如安格里斯特和皮施克的《基本无害的计量经济学》这本书把工具变量、DID、断点回归讲得非常透朱迪亚·珀尔的《为什么》则是帮助你建立因果图思维的好书偏实操的话多读DoWhy和EconML的官方文档结合自己的数据反复练习。AI平权时代学习资料的获取早已不是问题真正的分水岭在于能不能坚持把方法论内化成自己的研究习惯。说了这么多如果让我给一句最朴素的总结那就是AI工具平权之后Quant研究者比的不是谁手里的锤子更漂亮而是谁能看清钉子该往哪里钉。因果认知不是一个可以安装的插件而是一套需要反复练习的思维习惯。每次拿到一个新因子我都会先问自己一句“如果它的历史相关性突然消失了我能不能从因果机制层面解释为什么”答得上来的策略我敢重仓答不上来的我会先归零再重新做功课。这大概就是AI时代一个Quant研究者守住自己价值底线的笨办法。