副标题DeepSeek / Qwen / GLM / Kimi / Llama——五大家族的技术路线与架构设计思想一、引子如果你 2024 年初问我大模型用什么架构答案很简单Dense Transformer。Llama 3 是 DenseQwen2 是 DenseGLM-4 是 Dense连 GPT-4 在当时也被认为是 Dense。到了 2026 年中情况完全变了。每一家旗舰模型都是 MoE混合专家。但更关键的是它们在 MoE 这个大框架下走出了完全不同的技术路线总参/激活注意力方案优化器核心设计目标DeepSeek V41.6T/49BCSAHCA 混合稀疏注意力Muon百万级上下文实用化Qwen3.5397B/17BGated DeltaNet Softmax 混装AdamW激活参数极致压缩GLM-5744B/40BDSA 稀疏注意力 MLAMuon SplitAgentic Engineering 原生Kimi K2.61T/32BMLA多头潜在注意力MuonClipAgent Swarm 多智能体Llama 4400B2T/17B288BiRoPE Early FusionAdamW多模态原生融合这篇文章把这些路线拆开来看它们分别解决了什么问题为什么选择了不同的技术对开发者和用户意味着什么二、DeepSeek从 MLA 到 CSA/HCA把长上下文做透2.1 前代回顾V2 和 V3 打下的基础DeepSeek 的架构进化线是五家里最连续、逻辑最清晰的。DeepSeek V22024 年 5 月做了两件影响深远的事一是提出了MLAMulti-head Latent Attention多头潜在注意力。传统的 Multi-Query AttentionMQA和 Grouped-Query AttentionGQA通过减少 KV 头数来压缩 KV Cache但 MLA 走了一条不同的路——它对 KV 做了低秩压缩把完整的 KV 投影到一个低维的潜在空间推理时只缓存这个潜在向量需要时再解压。效果KV Cache 暴降 70-80%但精度几乎无损。二是时隔三年重新把MoE混合专家带到公众视野。384 个专家每 token 激活 6 个236B 总参、21B 激活。它不是第一个做 MoE 的Mixtral 8×7B 更早但它是第一个在大规模上证明 MoE viable 的系统。DeepSeek V32024 年 12 月把 MoE 规模推到 671B 总参/37B 激活256 个专家。V3 引入的Multi-Token PredictionMTP——训练时让模型一次预测多个未来 token——在后来的 V4 中被继承和强化。V3 在 2025 年初以极低的价格引发全球关注某种意义上是中国大模型出海的标志性事件。2.2 V4 的三大架构创新2026 年 4 月发布的DeepSeek V4是一次从头重写的架构核心变化集中在三处① 混合注意力CSA HCA这是 V4 最大的卖点——彻底替换了 MLA。CSACompressed Sparse Attention把相邻的 4 个 KV token 压缩成 1 个压缩条目然后用一个轻量级的 Lightning Indexer 做 top-k 检索选择最相关的 1024 个压缩条目参与计算。同时保留一个 128 的滑窗保证细粒度局部依赖。HCAHeavily Compressed Attention更激进128 个 token 压缩成 1 个不做检索全部参与计算充当全局信息通道。效果很直接在 1M 上下文下V4 Pro 的单 token 推理 FLOPs 只有 V3.2 的27%KV Cache 只有10%。这等于把百万上下文跑不起这个问题从工程层面解决了。所以 DeepSeek 的核心判断是传统 Attention 的 O(n²) 复杂度是长上下文的根本障碍MLA 能压 KV Cache 但压不了 FLOPs——必须改注意力机制本身。② mHCManifold-Constrained Hyper-Connections残差连接的一个升级版。把残差流的宽度从d扩展到4d用三个可学习的线性变换A/B/C在 Attention/FFN 子层周围做混合。关键是B矩阵被约束为双随机矩阵Sinkhorn-Knopp 迭代实现确保了光谱范数 ≤ 1——不会梯度爆炸信号不会消失。工程开销通过融合 kernel 控制在 ~7%。③ Muon 优化器首次在万亿级 MoE 上部署 Muon——它没有用 AdamW 那种逐元素的二阶矩估计而是通过 Newton-Schulz 迭代做权重的近似正交化。它让 V4 在 32T token 的训练中保持了稳定。虽然在大模型圈子外讨论不多但 Muon 是 2025-2026 最值得关注的训练算法创新之一。三、Qwen从全家桶到 MoE激活参数压到极致3.1 前代回顾Qwen2 的 Dense 矩阵Qwen 系列的特点是覆盖面极广。Qwen2 和 Qwen2.52024发布了从 0.5B 到 72B 的数十款 Dense 模型全部开源。它没有做 MoE就是把 Dense 做到极致——2.5 的 72B 在当时是同尺寸下的开源 SOTA。3.2 Qwen3全线 MoE 化2025 年 4 月Qwen3 做了两个关键决定第一MoE 化。两款 MoE 模型235B 总参/22B 激活云端旗舰和 30B 总参/3.3B 激活PC/边缘128 专家、每 token 激活 8 个。同时保留了 6 款 Dense 模型0.6B-32B覆盖端侧场景。第二混合推理。这是 Qwen3 区别于其他家的特色——同一个模型可以切换思考模式和非思考模式不需要加载两个模型。在简单问题上快答在复杂问题上推理。3.3 Qwen3.5/3.6Gated DeltaNet——条新路真正有意思的是 2026 年的升级。在大家都在做稀疏注意力DeepSeek、GLM的时候Qwen 选择了另一条路用线性注意力替代 Transformer 注意力的一部分。Gated DeltaNet是一种复杂度 O(n) 的线性注意力机制。它不是近似Softmax 注意力而是一种完全不同注意力计算方法——通过门控机制和增量更新来建模序列依赖。Qwen3.5-Plus397B 总参/17B 激活在 60 层网络中部分层用 Gated DeltaNet关键层保留 Softmax 注意力。效果解码吞吐量是 Qwen3-Max 的8.6 倍32K 上下文到19 倍256K 上下文。Qwen3.635B/3B256 专家进一步将这套混合注意力压缩到更小的激活参数上。Qwen 的核心判断和 DeepSeek 不同DeepSeek 认为瓶颈在注意力复杂度O(n²)所以做稀疏化Qwen 认为瓶颈在计算效率所以用线性注意力替换。两条路目前看来都走得通。四、GLM从科研探索到Agent 原生设计4.1 前代回顾GLM 的独特基因GLMGeneral Language Model在架构上是五家里最有学院派基因的。它的早期版本GLM-130B2022选择了Prefix 架构——不是标准的 Decoder-only而是将输入分成前缀和生成两部分前缀的 attention 是双向的生成部分是单向的。这套设计在后来的 GLM-4 中被逐步标准化为 Decoder-only2024 年初的 GLM-4 系列已经是标准 Decoder。GLM-4 系列在 2024 年覆盖了从端侧到云端的多个尺寸但一直没有做大参数量。GLM-4.5355B才真正开始冲击旗舰。4.2 GLM-5744B MoE DSA 稀疏注意力2026 年 2 月发布的 GLM-5 是智谱最大胆的一次跳升744B 总参、40B 激活——从 355B 直升到 744B256 个专家、每 token 激活 8 个80 层层数——比一般 MoE 少降低通信开销上下文窗口 202,752 tokens——一个奇怪的数字对应于 198×1024架构上的两个新东西① DSADeepSeek Sparse Attention名字直白——就是 DeepSeek V3 论文里提出的稀疏注意力方案。通过动态 top-k 选择最相关的 KV token 参与计算KV Cache 降低 75%推理速度提升 3 倍长文本性能下降 0.5%。② Agentic Engineering 成为训练目标GLM-5 明确宣称自己是为 Agent 设计的模型。后训练的四个阶段中有专门的Agentic RL 阶段——用超过 10,000 个真实软件工程任务做强化学习。它在 SWE-bench Verified 上拿到77.8%是开源 SOTA。GLM-5.22026 年 6 月更进一步扩展到 1M 上下文并以 MIT 协议开源。GLM 的态度很务实注意力方案不需要自己发明直接用 DeepSeek 的把精力放在后训练和 Agent 能力上。这和它的对手们形成有趣对比。五、Kimi月之暗面万亿参数走 Agent Swarm 路线5.1 前代回顾K1 用 Long Context 打了个标签月之暗面在 2024 年的存在感来自一个独特定位——长上下文。当所有模型还在 128K 挣扎时Kimi 已经在宣传200 万字上下文。K1 系列2025 年初是推理模型通过强化学习在数学、代码等任务上展示长上下文推理能力。5.2 K21T MoE 横空出世2025 年 7 月Kimi K2 发布1T 总参/32B 激活384 专家×8MLA 注意力——这是当时最大的开源 MoE 权重。和 DeepSeek V3 类似它用了 MLA 来压 KV Cache单从架构看和 DeepSeek V3 属于同代。但 Kimi 的差异化在两个地方① 自研优化器 MuonClip在 DeepSeek V4 用 Muon 之前Kimi 已经在 K2 的训练中验证了类似的优化器方案。MuonClip 解决了万亿参数训练中的爆炸注意力 logits问题——训练过程中注意力分数会突然崩掉MuonClip 通过裁剪梯度异常值来防止。② Agent Swarm——从单模型到多智能体这是 Kimi 最独特的路线。从 K2.52026 年 1 月开始Kimi 内置了Agent Swarm的能力——单次推理可以协调 100 个子代理并行工作。K2.6 扩展到300 个子代理、4000 步协调。这个设计的思路是模型本身只是大脑真正的能力来自成百上千个模型实例的协同。这是所有大模型公司里对 Agent 最激进的理解。K2.7 Code2026 年 6 月进一步在代码场景做了专项优化思维 token 减少约 30%同时推出了 Kimi Code 终端 Agent。六、Llama从开源标杆到方向摇摆6.1 Llama 3Dense 路线的巅峰时刻Llama 32024 年 4 月在发布时是对 OpenAI 闭源体系的最强挑战。8B、70B、405B 三款模型全部 Dense全部开源。405B 的 128K 上下文在当时是最强的开源旗舰。Llama 3.12024 年 7 月进一步优化了 405B 的训练和推理效率。站在 2024 年的节点Llama 3 代表了 Dense 路线的天花板——405B 已经是在合理预算内能训练的 Dense 模型的极限。6.2 Llama 4MoE 转型 多模态但有点仓促2025 年 4 月的 Llama 4 是一次大转向① MoE 化Scout109B/17B16 专家、Maverick400B/17B128 专家——从 Dense 全线转向 MoE。② Early Fusion 多模态和之前用独立 vision adapter 的路子不同Llama 4 从预训练阶段就把文本和图像放在统一的空间里训练。这在思路上是正确的但实测效果没有官方报告那么理想。③ iRoPE 超长上下文Scout 原生 192K实验性支持到 10M token。但是 Llama 4 的发布过程比较混乱。第三方评测显示 Maverick 在部分基准上的表现低于官方声称的数值引发了评测优化的争议。Meta 后续的内部调整AI 部门重组、首席科学家 Yann LeCun 边缘化使问题更加复杂。2026 年 1 月发布的Behemoth~2T 总参、~288B 激活仅作为研究预览没有开源。2026 年 4 月Meta 宣布开源战略转向闭源后续旗舰更名为Muse Spark——Llama 的开源时代结束了。Llama 的故事是一个警示即使是资源最雄厚的公司在架构转型期也可能走不稳。MoE 转型不是搭积木需要训练和推理的全面适配。七、横向对比五条技术路线的核心分歧7.1 MoE 全面化——但怎么分专家各不相同所有旗舰都是 MoE但专家配置差异很大总参数激活参数专家数每 token 激活DeepSeek V41.6T49B3846Qwen3.5397B17B1288GLM-5744B40B2568Kimi K2.61T32B3848Llama 4 Maverick400B17B1282-8激活参数/总参数的比例从 2024 年 Mixtral 的 ~25% 降到了现在的 ~2-5%Llama 4 Maverick 只有 4%17B/400B。模型越来越稀疏总参数可以随便加但每次推理只激活一小部分。这是过去两年最核心的架构趋势。同样重要的是共享专家——除了路由专家外所有旗舰都加了 1-2 个共享专家所有 token 都经过它。这相当于在 MoE 的每个 token 各走各路和 Dense 的所有 token 都过同一层之间做了折中。7.2 注意力架构——三条路线这是 2026 年最精彩的分歧MLA稀疏注意力线性注意力代表Kimi K2、GLM-5DeepSeek V4CSA/HCAQwen3.5Gated DeltaNet思路压缩 KV Cache减少参与计算的 KV 量替代注意力计算方式优点精度损失极小同时压 FLOPs 和 Cache推理延迟降低显著代价只压 Cache 不压 FLOPs长距离检索可能遗漏复杂任务上限不如 SoftmaxGLM-5 直接复用 DeepSeek 的稀疏注意力算是站在巨人肩膀上。Qwen 走线性注意力路线的风险更大但差异化也更明显。DeepSeek 的 CSA/HCA 是目前最精致的方案。7.3 优化器——Muon 来了AdamW 还在2024 年所有模型都用 AdamW。2025-2026 年Muon及其变种开始挑战优化器原理使用者AdamW一阶动量 二阶矩估计Qwen3、Llama 4MuonNewton-Schulz 近似正交化DeepSeek V4MuonClipMuon 梯度裁剪Kimi K2Muon SplitMuon 的分层变体GLM-5Muon 的核心洞察是大模型训练中权重的方向比步长更重要。AdamW 用二阶矩估计小心翼翼地调步长但 Muon 直接做正交化——每一步都让权重矩阵的行/列尽量正交。这在大规模 MoE 上似乎效果显著但尚未成为绝对共识。7.4 Agent 能力——从能用到架构原生支持2025 年的模型 Agent 能力靠后训练SFT/RL 教它用工具。2026 年Agent 能力开始进入架构设计GLM-5明确说自己是为 Agent 设计的模型训练流程中专设 Agentic RL 阶段Kimi K2.5直接在推理层支持 Agent Swarm——数百个模型实例协同工作DeepSeek V4的 OPD 蒸馏流程覆盖了 agent 场景这个趋势很清晰未来的模型面试题不是你能做 Agent 吗而是你的架构有多适合做 Agent。7.5 上下文长度——128K 是起点1M 是标配两年前 128K 还是长上下文。现在202420252026DeepSeek128K128K1MQwen128K256K256K可扩 1MGLM128K128K202K → 1MKimi128K128K → 256K256KLlama128K192K192K实验 10MDeepSeek V4 的 1M 最实用——不是技术上能跑而是在合理成本下能跑。GLM-5.2 紧随其后。Qwen 和 Kimi 停留在 256K但都声称可以扩展到 1M。八、总结我们该怎么看这些架构差异几条明确趋势MoE 已经是唯一答案。2026 年没有一家旗舰是 Dense 的。未来你可能看不到新的 100B Dense 模型了。注意力架构进入后 Transformer探索期。MLA、稀疏注意力、线性注意力——三路并进目前没有绝对胜者。这意味着未来 1-2 年模型架构还会快速变化。Agent 能力成为新一代模型的核心竞争力。模型有多聪明之外模型有多擅长使用工具和协同正在成为新的衡量标准。对开发者的实际意义如果你在选型你的场景关注点建议长上下文处理100KDeepSeek V4 / GLM-5.2百万级上下文有可用实现推理成本敏感Qwen3.5 / Kimi K2.6激活参数低部署成本可控Agent 系统开发GLM-5 / Kimi K2.6原生 Agent 训练支持多模态Llama 4Early Fusion 架构最彻底本地/小显存部署Qwen3-30B-A3B3B 激活参数性能不差如果你在研究架构这五家公司的技术路线选择反映的是对同一个问题的不同判断“大模型的下一个瓶颈在哪”DeepSeek 说注意力复杂度 → 改 AttentionQwen 说计算效率 → 换线性注意力GLM 说 Agent 能力 → 强化后训练Kimi 说单模型不够 → 搞多智能体Llama 说多模态 → 从零融合没有绝对的对错——它们只是押注了不同的方向。但对于我们这些观察者和使用者来说没有比这更好的时代了五条路线同时推进无论哪条跑通最终受益的都是生态。附录五家最强版本的开源状态与能力对比开源状态模型家族最强版本总参/激活是否开源协议DeepSeekV4 Pro1.6T/49B✅ 开源MITQwen3.7 Max1.2T/~45BMoE✅ 开源Apache 2.0GLM5.2754B/40B✅ 开源MITKimiK2.61T/32B✅ 开源Modified MITLlamaBehemoth2T/288B❌不开源—唯一例外是 Llama 4 Behemoth——Meta 在 2026 年 4 月宣布开源转闭源Behemoth 仅作为研究预览未开放权重。其余四家全部开源了最强版本。前 10 大开源权重模型中有 9 个来自中国公司这已经是 2026 年的新常态。注Qwen 系列目前最强的是 2026 年 5 月发布的Qwen 3.7 MaxApache 2.0比 Qwen 3.5/3.6 更强GLM-5.2 于 2026 年 6 月发布进一步提升了 SWE-bench Pro 等长代码任务的表现。能力基准对比数据来源为各家官方模型卡及独立评测2026 年 5-6 月基准DeepSeek V4 ProKimi K2.6GLM-5.2Qwen 3.7 MaxLlama 4 MaverickMMLU-Pro87.584.6——80.5SWE-bench Verified80.6%80.2%—80.4%~55-70%SWE-bench Pro55.4%58.6%62.1%——GPQA Diamond90.1%90.5%91.4%92.469.8LiveCodeBench v693.5%89.6%——43.4Terminal-Bench 2.x67.9%66.7%81.0%——AIME 202699.4%96.4%99.2%—~39 (AIME 2024)AA 综合指数525451——性价比对比每百万 token 价格DeepSeek V4 FlashKimi K2.6GLM-5.2Qwen 3.7 Max输入$0.14$0.95$2.54~$3输出$0.28$4.00$7.99~$10DeepSeek V4 的极致低价来自稀疏注意力FLOPs 降到 V3 的 27%直接转换成了推理成本优势。V4-Flash 版本284B/13B 激活在 SWE-bench 上仍有 79.0%但价格只有 Pro 的 1/3。怎么选你的需求最佳选择理由综合最强开源Kimi K2.6AA 指数 54各维度均衡代码能力最强DeepSeek V4 ProSWE-bench 80.6%LiveCodeBench 93.5%长任务代码SWE-bench ProGLM-5.262.1%领先所有开源和部分闭源推理成本最低DeepSeek V4 Flash$0.14/$0.28比竞品便宜 5-40 倍协议最干净Qwen 3.7 Max / GLM-5Apache 2.0 / MIT无附加条款单卡可跑Qwen3.6-27B27B DenseSWE-bench 77.2%一张 A100 够开源 vs 闭源差距到底有多大把当前最强的三款闭源模型Claude Opus 4.8、GPT-5.5、Gemini 3.1 Pro和开源旗舰放在一起看基准开源最佳Claude Opus 4.8GPT-5.5Gemini 3.1 ProSWE-bench Verified80.6%DeepSeek V4 Pro88.6%88.7%80.6%SWE-bench Pro62.1%GLM-5.269.2%58.6%54.2%GPQA Diamond92.4Qwen 3.7 Max~94%~76%†~79%†AIME 202699.4%DeepSeek V4 ProUSAMO 96.7%——Terminal-Bench 2.181.0%GLM-5.274.6%78.2%70.3%HLE硬推理54.0%Kimi K2.657.9%52.2%51.4%价格输出/1M tokens$0.28DeepSeek V4 Flash$25$30$12† GPT-5.5 和 Gemini 3.1 Pro 的 GPQA 分数因评测配置不同差异较大此处取统一口径值。关键发现差距维度具体差异SWE-bench Verified~8 分差距闭源仍然领先但差距从两年前的 30 分缩小到个位数SWE-bench Pro~7 分差距开源在长任务代码上差距更小——GLM-5.2 的 62.1% 已经超过 GPT-5.5数学推理几乎持平DeepSeek V4 Pro 的 AIME 99.4% 是 2026 年所有模型最高之一价格100 倍差距DeepSeek V4 Flash 的推理成本是闭源旗舰的1/100——这不是便宜一点是换了数量级硬推理~4 分差距HLE 等极限推理任务上仍有差距但在持续缩小结论已经很明确了2026 年的开源模型和闭源模型的差距已经从能不能用缩小到了好一点和更好一点的差别。对于 90% 的实际应用场景开源模型的性能已经足够而成本优势是决定性的。但代码类型决定优势——短期修复SWE-bench Verified各家差不多长任务SWE-bench ProGLM-5.2 明显领先Llama 4 已经被全面超越——Maverick 发布超过一年未更新和 2026 年新模型的差距是全方位的