如果说 2017-2023 大模型的关键词是Scaling Law参数和数据越多越好那 2024-2026 就出现了一个全新关键词——Test-Time Scaling推理时扩展。这是和 MoE 并列的过去三年大模型最重要的两大架构创新。它的核心思想极其反直觉让模型在回答前先「思考很久」。简单一句话背后是 OpenAI o12024.09、DeepSeek R12025.01、Claude 4 Thinking、Gemini 2.5、Qwen3 Thinking 等一系列推理模型的崛起。如果你做过相关工作下面这些问题应该不陌生推理模型和普通 LLM 有什么本质区别R1 是怎么从 V3 训出来的为什么R1-Zero 的 aha moment那么轰动推理模型为什么思考可以那么长token 不就爆炸了吗我的业务该不该用推理模型什么时候用推理模型部署有什么特殊要求读完本文你将能理解 Test-Time Scaling 的数学逻辑拆解 DeepSeek R1 的训练流程含 GRPO 算法评估推理模型的工程成本与业务价值部署推理模型的关键注意事项判断推理模型的未来方向我们开始。一、Test-Time Scaling 的革命1.1 一句话颠覆 Scaling Law回顾第 6 篇我们讲的传统 Scaling Law模型 Loss ∝ N^-α · D^-β · C^-γ N参数量 D数据量 C训练算力过去 6 年行业的逻辑都是「堆训练算力 更好的模型」。2024 年 9 月OpenAI 发布 o1提出新观点训练算力到了一定规模后边际收益递减。但「推理时多想几步」能持续提升效果。换言之算力支出从训练阶段转移到推理阶段。1.2 数学逻辑考虑一道数学题朴素 LLM prompt → 直接生成答案 生成 200 token 推理模型 prompt → 生成思考链2000-10000 token→ 答案 总生成 5000 token实测结果AIME 数学竞赛模型准确率GPT-4o无思考9%o1-mini70%o1深度思考83%o396%⭐思考时间越长效果越好——这就是 Test-Time Scaling。1.3 为什么这是「革命」之前业界以为模型能力主要由训练决定推理就是取出来用。推理模型证明模型还有大量潜在能力只有在长时间推理下才被激活。经济意义训练成本一次性推理成本随业务量持续支出新范式让算力支出匹配任务难度——简单问题快回答难问题深思考1.4 三个 Scaling Law 并存2026 年业界形成了三个并存的 Scaling Law1. Pre-training Scaling ── 训练算力 → 基础能力 2. Post-training Scaling ── RL / SFT 算力 → 对齐与精炼 3. Test-Time Scaling ── 推理算力 → 深度推理未来 5 年Test-Time Scaling 占比会越来越大。二、推理模型的核心机制2.1 思考链Chain of Thought第 30 篇我们讲过 CoT prompt 技巧——但推理模型把 CoT 内化到了模型本身。普通 LLM 用 CoT prompt 用户「逐步思考...」明确要求 模型思考 → 答案 推理模型 用户「2 3 × 7 ?」 模型自动 thinking 先算乘法3 × 7 21 再算加法2 21 23 答案是 23 /thinking 23关键区别普通 LLM需要 prompt 引导才思考推理模型天生会思考且思考更长更深2.2 thinking tokens 的工程意义推理模型把思考过程标记为特殊 tokenthinking...内部推理.../thinking answer最终答案/answer或者类似 OpenAI o1[隐藏的内部 reasoning tokens] 最终答案对用户可见工程影响token 数大幅增加一个问题可能产生 5K-50K thinking tokensTTFT 变长用户看到答案前要等模型思考完API 计费thinking tokens 也算钱2.3 推理深度的可控性主流推理模型都提供「思考深度」参数# OpenAI o3 response client.chat.completions.create( modelo3, messages[...], reasoning_efforthigh # low / medium / high ) # Claude 4 Thinking response client.messages.create( modelclaude-opus-4-7, thinking{ type: enabled, budget_tokens: 10000 # 思考预算 }, messages[...] ) # DeepSeek R1 response client.chat.completions.create( modeldeepseek-r1, messages[...], extra_body{thinking_budget: 8000} )工程师视角「思考预算」是新的核心调参维度——和 max_tokens / temperature 并列。三、DeepSeek R1第一个公开的推理模型完整训练方法OpenAI o1 的训练方法没有公开。但 2025.01 DeepSeek R1 完整开源 公开了训练方法彻底改变了行业认知。3.1 R1 的训练流水线DeepSeek-V3 Base ↓ [R1-Zero] 直接做 GRPO 强化学习 ↓ 观察模型自发出现反思、验证等推理行为 ↓ [R1] 加 SFT 数据 多轮 GRPO 通用对齐 ↓ DeepSeek-R1超过 o1 的开源推理模型3.2 GRPO 算法第 8 篇深入讲过回顾 GRPO 的核心对同一个 prompt模型生成 K 个不同回复 计算每个回复的 reward数学题对错、代码能不能跑、推理是否合理 组内归一化得到 advantage 更新模型关键设计不用 critic 模型省 1 个 70B 显存不用复杂偏好模型用规则验证奖励信号稀疏但明确R1 训练的奖励函数def reward_function(question, response): # 1. 答案正确性最重要 if has_correct_answer(question, response): reward 1.0 # 2. 格式正确用 thinking 包裹 if has_thinking_tags(response): reward 0.1 # 3. 语言一致性 if same_language_as_question(question, response): reward 0.05 return reward3.3 R1-Zero 的「Aha Moment」R1 训练过程中最震撼业界的发现纯 RL 训练不加任何 SFT 推理数据能让模型自发学会反思。DeepSeek 公开的训练日志里有这样的输出模型生成训练某步 设 x ... 应用公式... 得到 x 5 等等让我重新检查 我看错了一步 重新计算... 正确答案是 x 7 哦这就是 aha moment.模型自己涌现出了反思能力——没有任何人教它要反思。这个发现震撼业界证明 RL 简单奖励能让模型涌现复杂推理推理能力不需要显式数据给开源社区做推理模型打开了大门3.4 R1-Zero vs R1R1-Zero 虽然推理能力强但有问题输出语言可能混乱中英夹杂不易读对齐性不够拒答率低所以 DeepSeek 又做了 R1基于 R1-Zero 加 SFT 多轮 RLR1-Zero纯 RL→ 收集高质量 thinking 输出 → SFT R1 → 再做 GRPO → R1最终 R1推理强 输出清晰 对齐好。3.5 R1 开源后的影响R1 完全开源包括权重 训练方法后6 个月内Qwen、阿里、智谱、零一、百川 等都推出推理模型蒸馏小模型潮R1 蒸馏到 Llama 8B、Qwen 7B 等让小模型也能推理开源推理模型质量逼近 o3四、推理模型的部署与使用4.1 与传统 LLM 的部署区别维度传统 LLM推理模型平均输出长度200-1000 token5K-50K tokenTTFT200-500 ms不变端到端延迟5-15 秒30 秒 - 5 分钟单请求成本中高 10-50×适合场景通用对话复杂推理4.2 部署 DeepSeek R1# SGLang 部署 R1推荐 python -m sglang.launch_server \ --model-path deepseek-ai/DeepSeek-R1 \ --tp 8 \ --ep 4 \ --enable-deepep \ --quantization fp8 \ --kv-cache-dtype fp8 \ --max-model-len 65536 \ # 思考链占用大 --port 30000关键参数变化--max-model-len 65536必须设大thinking 链占满KV Cache 量化必开thinking 让 KV 爆炸4.3 思考链可见性不同模型对 thinking 的处理不同模型思考可见OpenAI o1 / o3不可见只算 tokenOpenAI gpt-5reasoning 模式部分可见Claude 4.7 Thinking可见DeepSeek R1完全可见⭐Qwen3 Thinking可见Gemini 2.5 Pro部分可见完全可见的好处调试方便信任度高用户能看推理过程• 可以做思考链摘要完全不可见的好处保护商业机密OpenAI 担心被蒸馏UI 简洁4.4 流式输出的特殊处理# 推理模型的流式输出要区分 thinking 和 answer async for chunk in stream: if chunk.thinking: # 显示 思考中... 或折叠区 update_ui(thinking_chunkchunk.thinking) elif chunk.content: # 正常显示答案 update_ui(answer_chunkchunk.content)用户体验设计思考过程折叠 / 推理中 动画最终答案流式 / 高亮思考时长明显展示用户更愿意等4.5 Prompt 工程的变化第 30 篇我们讲过——对推理模型prompt 反而要更简洁❌ 对推理模型不必要 - Lets think step by step它自己会 - 复杂 CoT 提示 - 大量 few-shot 例子 ✅ 推理模型友好 - 清晰的任务描述 - 明确的输出要求 - 1-2 个例子如有需要Anthropic 官方建议Claude 4 Thinking对 thinking 模型prompt 要 - 简洁直接 - 明确思考预算 - 给何时停止思考的信号五、2026 年的推理模型版图5.1 闭源推理模型模型思考深度价格输出/M tokenOpenAI o3极深$40GPT-5reasoning 模式深$40Claude Opus 4.7 Thinking深$75Claude Sonnet 4.6 Thinking中$15Gemini 2.5 Prothinking深$10Grok 3 Reasoning中-5.2 开源推理模型模型来源思考能力DeepSeek R1DeepSeek接近 o1 ⭐DeepSeek R2预计 2026 Q3DeepSeek接近 o3Qwen3-Thinking-72B阿里接近 R1GLM-4.5 Thinking智谱接近 R1QwQ 系列阿里早期版本DeepSeek-R1-Distill多个版本7B - 70B 蒸馏5.3 蒸馏让小模型也会推理DeepSeek-R1-Distill 让端侧小模型也能推理R1 (671B) ↓ 蒸馏 DeepSeek-R1-Distill-Qwen-32B ↓ DeepSeek-R1-Distill-Llama-8B ↓ DeepSeek-R1-Distill-Qwen-1.5B ← 手机能跑实测数学 AIME 2024模型准确率大小GPT-4o9%闭源Claude 3.5 Sonnet16%闭源R1-Distill-1.5B28%1.5B手机能跑R1-Distill-7B55%7BR1-Distill-32B72%32BDeepSeek R1 (671B)79%671B1.5B 蒸馏模型超过 GPT-4o——这是 2026 年最震撼的事实之一。六、推理模型的应用边界6.1 什么场景该用推理模型✅强烈推荐数学 / 物理 / 化学明确对错的推理题代码生成 / Debug复杂逻辑问题数据分析多步骤推断复杂规划旅行 / 项目 / 战略法律 / 医疗推理需要严谨论证✅推荐复杂 Agent 任务多步规划RAG 推理检索后深度分析创意写作多次自我批评❌不推荐简单问答杀鸡用牛刀闲聊翻译 / 摘要标准任务实时对话延迟敏感大流量 ToC成本太高6.2 经济性测算假设业务每天 1 万次调用模型类型单次平均 token日成本Claude Sonnet 4.6标准500¥27Claude Sonnet 4.6 Thinking5000¥270Claude Opus 4.7 Thinking8000¥4320DeepSeek V3标准500¥4DeepSeek R1推理5000¥40结论推理模型成本是普通的10-50×必须有明确价值才划算国产推理模型成本远低于闭源6.3 混合架构生产最常用# 用小模型路由 async def smart_route(question): complexity await classifier_model.classify(question) if complexity simple: return await chat_model.complete(question) # 普通 LLM elif complexity medium: return await chat_model.complete(question, cotTrue) # 普通 CoT else: # complex return await reasoning_model.complete(question) # 推理模型实测把 80% 简单请求路由到普通模型总成本降 70%。6.4 一个真实失败案例某团队全面替换 Claude Sonnet 为 Claude Opus 4.7 Thinking质量复杂场景提升 30%延迟用户反馈太慢了成本月账单涨 8 倍结果3 周后回滚教训推理模型不是替代品是补充品。七、推理模型的工程难点7.1 KV Cache 爆炸5000 thinking tokens 让 KV Cache 增长 5-10 倍。对策KV Cache 量化FP8 / INT8分组多请求并发不要一个请求独占thinking 完成后释放 thinking 部分的 KVvLLM 0.7 支持7.2 长尾延迟不同难度问题思考时长差异巨大简单5 秒中等30 秒极难5 分钟对策设max_thinking_tokens硬上限长任务异步化先返回 task_id完成后通知p99 延迟容忍度提高7.3 流式 UX 设计用户看到屏幕静默 30 秒会以为挂了。对策1. 立即显示「正在深度思考...」 2. 流式输出 thinking 内容可折叠 3. 实时显示已思考时长 4. 完成后高亮答案7.4 评估难推理模型的评估比传统 LLM 难思考长度变化大思考质量难量化简单题 vs 难题表现差异巨大对策用 AIME / MATH / SWE-Bench / GPQA 等推理 benchmark业务真实推理题准备 100 测试集不要看平均看分级简单 / 中等 / 难八、推理模型的未来8.1 当下趋势思考时长指数级增长o3 单题可思考几十分钟思考过程可控用户能干预思考方向多模态推理图像 推理Gemini 2.5小模型推理蒸馏 端侧 thinking思考成本下降硬件 优化双向推进8.2 推理 Scaling 的物理上限传统 Scaling参数翻倍 → 算力翻 4 倍 推理 Scaling思考长度翻倍 → 单次成本翻倍短期内推理 Scaling 比训练 Scaling 更有性价比。但长期思考长度也会遇到上限用户耐心 经济性。8.3 与其他技术的融合MoE 推理DeepSeek R1 已经在做R1 基于 V3 MoE多模态 推理Gemini 2.5 / GPT-5Agent 推理Devin / Claude Code小模型 推理蒸馏R1-Distill 系列九、避坑9.1 坑 1迷信「推理模型万能」对策不是所有任务都需要推理——简单任务用普通 LLM。9.2 坑 2忽视成本对策上线前算好月度成本特别是 thinking tokens 部分。9.3 坑 3延迟设计不到位对策流式 UX 异步任务 进度展示。9.4 坑 4prompt 写得太复杂对策推理模型 prompt 要简洁让模型自己思考。9.5 坑 5没做能力评估对策用真实业务推理题评估不要只跑通用 benchmark。十、结语推理模型是 LLM 的「第二层智能」读完本文你应该明白Test-Time Scaling 是与 Pre-training Scaling 并列的新范式DeepSeek R1 完全公开了训练方法开启开源推理时代GRPO 简单 reward 大规模 RL 涌现推理能力R1 蒸馏让 1.5B 模型也能超过 GPT-4o生产场景应该混合架构简单任务普通 LLM、复杂任务推理模型推理模型成本是 10-50×——业务价值要匹配参考文献推理模型原理o1 / R1 的 Test-Time Scaling 新范式