上个月一个做私募的朋友跑来问我说他们团队买了几个AI工具的会员结果研究员人均每天还是要在Wind、公告、研报和群里消息之间来回切十几个窗口抄数据抄到眼花。他想让我帮忙看看能不能搞一个AI投研系统把日常那些重复劳动接过去。我当时的回答是先别急着买系统、搭模型想清楚你想要的到底是自动写日报的机器人还是能帮你缩小信息差、提高决策胜率的分析框架。这两个东西之间的差别比大多数人想象中要大得多。这篇文章就当一篇杂记来写把我过去大半年折腾AI投研系统的真实思路、架构取舍和踩坑记录梳理一遍。我会尽量说人话不堆概念也不藏东西。内容包括一套完整的系统设计思路、核心模块的落地方式、我在评测迭代中的真实体会以及一批用真金白银换来的避坑经验。不管你是量化背景的技术人、基本面的研究员还是自己管钱想搞一套私人投研工具的独立投资者这篇文章应该都能给到你一些可以直接落地的参考。1. 先想清楚AI投研系统到底要解决什么问题1.1 把投研工作流拆开看才知道痛点在哪我见过的绝大多数所谓AI投研方案上来就讲大模型、Agent、知识图谱但真正去问用户痛点往往绕不开几个很朴素的问题公告太多了看不完、研报结论和原始数据对不上、突发消息出来没人第一时间提醒、写个晨会纪要要花两个小时、历史观点散落各处复盘时想不起来当初为什么买。这些问题其实可以归成一条完整的投研工作流信息获取、数据清洗、观点生成、决策辅助、复盘迭代。AI投研系统真正该做的事是在这条链路的每一个环节上用AI替代或增强人工体力活而不是让AI直接给你一个代码六位数明天就买入的玄学结论。我一开始犯过的错误就是总想让模型输出一个最终答案结果被幻觉按在地上摩擦。后来才想明白AI在投研里最稳的位置不是决策者而是一等一的投研助理——它负责把资料摊开、把逻辑理顺、把风险点拎出来最后那一笔还是你自己落。1.2 明确边界自动化不等于自动驾驶设计投研系统之前必须学会区分三个东西传统量化系统、AI辅助研究系统、以及自以为很聪明其实很危险的自动交易agent。传统量化系统的核心是结构化数据和统计模型处理的是历史数据里能数出来的规律AI辅助研究系统的核心是文本理解和逻辑组织处理的是今天早上那条行业新闻和昨天那封公告之间的关联至于自动交易agent我个人目前的立场非常保守——让它做点执行层面的小事可以让它端到端自主决策至少在合规和风控问题解决之前不推荐任何机构或个人拿真金白银去赌。所以系统的设计目标应该是把AI嵌入到人研究的环节里而不是把人从决策环节里抽走。我现在的产品形态是一个研究副驾它干四件事汇总信息、抽取关键变量、提示潜在风险、按研究员的要求生成初稿。每一件事都会附上信息来源和原始片段让研究员可以溯源复核。这个边界画清楚之后后面所有技术选型都变得顺了。2. 系统架构与关键技术选型2.1 分层架构的核心思路别把大模型当数据库也别把数据库当大模型我搭过一版极度暴力的原型把所有PDF、公告、研报全部切碎塞进向量数据库然后接一个大模型让用户随便问。初测效果看着还行一问一个准但真用起来就露馅了数字对不上、时间线错乱、问细了就开始胡编。原因很简单——向量检索本质是按语义相似度吐片段它不保证数据完整、不保证是最新数据、也不保证多文档间的逻辑一致性。后来我把架构改成分层一共有四层数据接入层、存储解析层、分析推理层、交互服务层。它们各司其职模型只做它擅长的事数据完整性靠结构化存储和规则兜底。层级职责典型组件数据接入层对接公告、行情、研报、舆情等数据源负责增量拉取、去重、鉴权Python服务、数据源SDK、消息队列存储解析层把PDF/网页/公告解析为结构化数据与干净文本做索引和缓存PostgreSQL 向量库(如pgvector)、文档解析引擎分析推理层用LLM抽取关键事件、生成摘要、计算风险信号、跑规则引擎做多Agent任务编排LLM API / 本地模型、LangGraph或自建编排器、规则引擎交互服务层面向研究员的统一入口展示结果、记录反馈、管理订阅预警Web端、企业微信/飞书机器人、日报推送服务这套分层的核心思想是能结构化的就结构化结构不了的关键信息再用LLM抽出来补上让大模型永远处在一个有据可查的位置上。结构化数据用来回答是多少、什么时间、什么价格非结构化文本经过模型抽取后再关联到结构化对象上。2.2 大模型选型不追求最强只追求在该用的时候用很多团队一上来就纠结用哪个大模型天天对比benchmark。实际落地起来我的经验是不是所有环节都需要最强的模型很多环节反而需要小而稳的模型。文本分类、实体抽取、格式化输出这类任务我大量使用本地部署的Qwen系列开源模型如Qwen2.5-7B-Instruct量化版本。跑在单张消费级显卡上单次调用成本几乎为零延迟低还能私有化部署不把公司内部研究数据送出去。长文档深度摘要、跨文档逻辑推理、复杂指令这类高难度阅读理解才用更强大的商用模型API比如Claude或者GPT系列。这类任务频率不高但对上下文长度和理解力要求高花点token是值得的。关键链路还有一个双模型验证技巧比如抽取同一份公告里的重大事项用低成本模型抽一遍再用强模型抽一遍两者结论一致才进入信号库不一致就进入人工复核队列。这个操作能大幅降低你不想看到的AI自作主张概率。模型选型还有一个重要约束你所在机构的数据安全边界。如果内部研究有严格保密要求那很多数据根本不能出内网API方案直接出局。这种情况下就得走本地部署为主、外部API做低敏任务的混合方案或者干脆全部本地化用小模型精细调优来打。2.3 RAG知识库的正确打开方式混合检索与上下文重排做投研的RAG我后期强烈建议加上混合检索也就是关键词检索向量检索同时跑再用一个rerank模型把两路结果重新排序。纯向量检索在投研这种专业名词密集的场景里经常出现意思对但精确数字错了的问题。比如查2024年Q3毛利率向量检索可能返回一段讲2024年全年毛利率的文本看着很像其实完全不是研究员要的东西。我的默认参数可以供你参考chunk_size 512字符中英混合按语义边界切overlap 64字符Top-K召回20个候选片段rerank之后保留Top-5。Embedding模型我先后用过BGE-M3、OpenAI text-embedding-3-large和Cohere的embed模型实际效果上没有本质差距最终选了BGE-M3 本地部署主要是为了省钱和保持隐私。另一个容易被忽视的细节是时间过滤。投研里信息的时效性特别敏感必须先按时间范围筛掉过期内容再进检索否则模型很容易把三年前的故事当成今天的热点。我在结构化表里存了每个文档的发布日期检索前先用元数据过滤器圈定时间窗这一步比换任何模型都更直接地提升结果质量。3. 核心模块的落地实现与实操细节3.1 数据接入层把脏乱差挡在系统外面投研系统最脏最累的活全在数据接入这层。先说合规这个绕不开的前提所有数据源都必须有合法授权个人做研究也一样别去碰盗版数据源和非法爬取的内幕信息。在此基础上技术上的核心问题是增量同步和数据清洗。我接的几类数据源分别是交易所/上市公司公告通过官方渠道授权下载PDF然后做增量解析研报数据购买合规的研报数据库API抓取PDF元数据和正文行情数据通过券商或第三方数据服务订阅日线/分钟线数据舆情数据合规接入主流财经媒体的RSS或API。增量更新的实现思路很简单为每个数据源维护一个上次拉取时间和文档指纹比如MD5每次拉取只处理新增和变更的文档。文档指纹能解决一个很头疼的问题——公告发出去之后偶尔会被撤回重发如果只靠标题和日期去重重发的内容就漏掉了。清洗环节的重点是把PDF里面排版混乱的表格和页眉页脚去掉。我试过用专门的文档解析引擎比如PyMuPDF加自研规则来处理公告效果不错。有些PDF解析出来是纯图片格式那就得加OCR环节。这部分的经验是要给OCR留好质量检测机制解析出来的文本字符少于一定数量或者提取不到财报关键科目就自动标记为解析异常扔进人工处理队列。3.2 文本信息抽取让模型从公告里拎出关键变量这是整个系统里我和模型磨合最久的一块。以公司公告为例研究员想快速知道这则公告对已有持仓有什么影响需要抽取的核心变量包括事件类型增持、减持、业绩预增、对外投资、中标等、涉及主体、发生金额、时间节点、影响方向正面/负面/中性。我自研了一套基于小模型的抽取流程核心是结构化JSON输出 示例约束。简单说一下实践要点给模型的system prompt里明确只输出合法JSON不要解释不要多余文本字段缺失输出null然后把几个典型公告的输入输出对做成few-shot示例。模型输出后用一个JSON校验器做严格校验解析失败就重新调用一次最多重试一次还失败就标记人工处理。下面是一个简化的抽取提示词示例实际使用时还会补很多细节约束你是上市公司公告信息抽取助手。 任务从公告文本中抽取以下字段并输出严格JSON source_date(公告日期), company(公司全称), event_type(事件类型), event_subtype(细分类型), amount(涉及金额, 单位万元), direction(影响方向: positive/negative/neutral), key_points(要点列表, 最多5条) 约束 - 只输出JSON对象不要任何解释 - 数据未提及的字段填null - event_type 可选值: 业绩预告/业绩快报/分红/回购/增持/减持/中标/对外投资/股权变动/债务/其他 - key_points 每条不超过30字 输入公告 {此处插入公告全文}这套流程跑下来的准确率在我的测试集上大概能到88%左右。剩下的12%主要集中在识别多事件混合公告和阴阳措辞上比如公告里既有正面业绩增长的表述又提示了应收账款高风险模型有时候会漏掉后者。解决办法是加一条强制列举风险因素的子任务让模型抽完关键变量之后必须额外输出一段主要风险提示。目的不是让模型判断风险大小而是确保信息不被遗漏。3.3 事件驱动信号与预警把人工盯盘变成系统盯逻辑抽取完信息之后要让它变成真正有用的信号。我的做法是建了一个事件信号评分表对每个事件类型预先配置好影响方向和权重这个表由研究员团队共同维护。比如事件类型方向权重分说明大股东增持正面2额度高于1亿元再额外加1分董监高减持负面-2需结合减持规模判断业绩预增超预期正面3超预期幅度大于50%再加1分收到监管函负面-3视为重大合规风险回购股份注销正面2注销式回购更有效系统每次从公告里抽取到一个新事件时会自动打上事件标签和评分然后走规则引擎如果涉及持仓池里的标的且信号评分绝对值超过3分就立刻推送预警到研究员的消息端如果是不在持仓池的标的就进潜力观察池做每日归档。这里关键的一点是信号不等于交易指令它只代表有一件事发生了市场可能还没重视建议你花5分钟看看。这个定位帮我避免了大量无效推送——早期系统把每一个信号都当重点推研究员一天收几十条通知很快就免疫了后来加上权重分级和限额推送使用反馈好了很多。3.4 自动生成投研简报从数据到可读观点的最后一公里简报生成是整个系统里用户感知最强的模块。我做的事情是把写报告拆成先取数、再组稿、后校验三个子任务不让模型直接从零开始编一整篇。具体来说每天的晨报生成流程是这样的从结构化信号库里取过去24小时新增的高分事件针对每个事件用RAG分别检索该公司的历史公告、最新研报、近期财务数据按照模板让模型基于检索到的片段生成事件摘要、关联信息、潜在影响、风险提示四个板块每一个板块后面都自动附上信息来源片段研究员点一下就能跳转到原始材料。模板方面我试过很多最简单的三段式框架反而最好用发生了什么、改变了什么、还需要确认什么。第一段由结构化字段直接填充第二段由模型基于历史对比生成第三段按规则列出当前数据缺口比如最新季报未发布重大合同补充协议未见全文。这样生成的报告虽然不如资深研究员手写的那么华丽但胜在每句话都能追来源研究员愿意看。我还研发了一个小功能每周自动生成一份周度投研复盘把过去五天的信号、系统输出的观点、实际市场表现做过对比标记出系统说过但市场没反应和市场反应了但系统没说两种情况。这个功能一开始只是自己脑热写的后来研究员反馈说这是整个系统里价值最大的功能之一——因为它把迭代方向直接指出来了。4. 让系统真正有效评测方法与迭代闭环4.1 评测体系别只看准不准要看有没有用投研系统最坑的地方在于没有标准答案很难用统一的准确率来衡量。我做过三种评测方式各有优劣。第一种是信息覆盖率评测拿一周内所有真实发生的重要公告和事件去对照系统是否提取到、是否识别正确。测的是有没有漏掉重要信息。这套做起来相对容易准确率、召回率都能算但缺点是抽出字段正确和对投资决策有用之间还有很长的路。第二种是信号质量人工评分每天随机抽取系统推送的10条信号让研究员按信息价值(1-5分)和推送时机价值(1-5分)打分。连续打一个月看平均分走势。这基本能反映系统的真实使用体验。第三种是回溯模拟我把系统生成的信号和历史K线做时间对齐统计信号发布后5个交易日内的最大涨跌幅。注意这里绝对不要把它当作收益率回测只当做一个参考维度辅助判断信号的信息增量。原因是市场反应受到太多因素影响信号和股价走势之间不是简单因果关系。4.2 迭代闭环从错误中挖金矿系统做得越久我越意识到迭代速度比初始精度更重要。我的迭代节奏是每周一个小版本每月一个大版本。每周做的是从消息推送反馈里把研究员点了不看和看完标记无用的信号找出来分析是哪一类事件和数据源带来的误报然后去调规则引擎的权重或者强化模型提示词。每月做的是把过去30天所有被人工标记过的错误抽取记录汇总筛选出最高频的错误模式再微调数据清洗流程和抽取prompt。举个具体的例子早期系统在识别股权质押这类事件时经常把解除质押中性偏正面误报成新增质押负面导致研究员看到一堆错误的负面预警。我通过复盘错误记录发现是prompt里对质押/解除质押的区分说明不够于是在few-shot示例里专门加了两条对比鲜明的例子又给规则引擎加了一条若事件主体同时出现质押和解除质押字样优先触发人工复核。改完之后这一类的误报率降了六成以上。4.3 人工在环AI投研的最低安全线无论系统做得多完善我都坚持人工复核贯穿整个链路。具体来说有两条铁律一是系统生成的任何强结论都必须附原始证据链二是系统推送的任何预警都必须有明确的触发逻辑展示。研究员可以看到这条预警是因为今天15:07分发了业绩预增公告金额超预期比例87%命中规则E3而不是只看到一条某公司业绩利好。有人觉得加人工复核就破坏了全自动的效率。我的观点是投研这个领域里效率的定义不是每秒处理更多消息而是在正确的时间处理真正重要的消息。一个人盯着五千条消息和一个人盯着系统筛选后的十条高价值消息决策质量完全不一样。系统负责过滤、组织和提示人负责判断、决定和担责这个定位从一开始就必须刻进系统设计里。5. 常见问题与避坑手册5.1 数据合规与权限问题翻车重灾区数据合规是AI投研系统里最容易出事的环节。我有一个非常朴素的原则所有数据都必须从有明确授权的渠道获取个人拿去研究没问题拿去商用或者做资管决策合规问题就是致命问题。业内已经出现过因为抓取数据、滥用非公开信息而吃官司的案例这条底线千万别碰。技术上的合规还包括内部权限控制不同岗位能看的数据等级应该不同。我建议数据上报系统的时候就带上权限标签比如公开数据“付费授权数据”“内部自研数据三个等级在服务层做隔离。哪怕你只是一个几人的小团队这个设计也可以防患于未然。5.2 幻觉问题4种实用的抑制手段幻觉是所有做AI投研的人绕不开的坎。我总结过几种真正有效的处理方式强制引用来源模型生成任何事实性描述都必须附上来自哪份文档、哪个片段。这不能完全消除幻觉但会迫使模型把生成范围和搜索到的材料绑定。结构化优先能用规则引擎和结构化数据完成的判断就不要让模型自由发挥。比如某股票今天涨停是结构化事实不需要模型判断直接用行情数据触发。数值校验器模型生成的数字字段自动去原始结构化数据库里比对对不上的直接拦截并标记。双模型互检重要结论让两个不同模型独立生成再交给一个一致性校验器比对不一致则进入人工复核。成本翻倍但重要场景值得。5.3 成本控制把token用在刀刃上很多系统跑起来才发现API费用远比想象中高。我做过一个粗账如果每天用最强的商用模型跑完全量的公告解析和简报生成一个月下来够付两三个初级研究员的工资。所以成本控制不是财务问题是系统设计问题。我的经验是三级金字塔策略底层用本地小模型处理80%的简单任务分类、抽取、格式化中层用中等模型处理15%的分析型任务摘要、对比顶层用最强模型处理5%的高复杂度任务深度推理、综合判断。这在保证质量的前提下成本能差出一个数量级。另一个很实用的优化是缓存与复用同一份公告如果摘要已经生成过下次就不需要再调用模型同一个事件被多次查询时直接返回先前的抽取结果。我在PostgreSQL里给摘要和抽取结果都设置了TTL缓存命中率大约30%省了不少钱。5.4 落地避坑别一上来就追求全自动最后一条是我踩过最深的一个坑。第一版系统我花了大量时间去做全自动日报期望每天开盘前就能给研究员推送全部观点结果连着一个星期推出来的东西研究员只打开过两三次。问题的根源不是技术而是研究员不信任一个没有参与感的东西。后来我改变了交互方式先让研究员用系统的检索和预警功能自己发现问题、自己点击查看详情在这个过程中逐渐建立对数据质量和系统逻辑的信任然后才慢慢接受自动生成的报告和建议。这个先工具后模型的路径让我想起了那句老话——AI不是替你思考是给你配一个能把所有材料按你习惯摆好的助手。写在最后设计一个有效的AI投研系统关键不在模型参数有多大也不在架构图画得多漂亮而在于你是否有足够的耐心去理解真正使用者的一天是怎么度过的。我在实际落地中最深的体会是系统要解决的问题从来不是看得少而是看不到该看的系统最大的价值不是替你做判断而是帮你在每个判断之前把所有的背景材料整理得不那么费劲。如果你正在做类似的东西建议你也从研究员每天早上第一个动作是什么这个场景出发一点点把系统长出来而不是先买个大模型再想有什么用。路很长但每一步都值得踏实走。