一个训练好的神经网络到底是简单还是复杂在过去这个问题很大程度靠“体感”回答层数多、参数多就觉得复杂准确率稳定就觉得模型学到了东西。可一旦想对模型做压缩、做量化、做解释或者想在部署前评估这个模型是否稳健“简单性”就不再是形容词而是需要被精确测量和执行优化的目标。ICML 2026 上有一篇标题里同时包含“量化并优化神经网络的简单性”和“多项式表示”的工作特别值得关注。它可能没有直接提出一个新数据集或者一个新架构而是在尝试解决一个更底层、也更常被忽略的问题能不能用多项式表示把“简单性”变成一个可以在训练中计算、反馈、优化的数值。如果这个方向成立它带来的影响不会只停留在理论层面。参数数量、FLOPs 这些指标其实都只是模型复杂度的代理而“简单性”更接近一个函数本身的行为特征。一个参数很多但决策边界平滑的模型和一个参数较少但决策边界剧烈弯曲的模型到底哪个更简单这个问题用现有指标很难回答。而一旦我们能用多项式表示给出一个可计算的数值并把它直接放进损失函数参与优化神经网络的研究和工程调参方式都会多出一个维度。1. 为什么“简单性”值得被量化而不是靠感觉判断1.1 参数数量这类指标并不是“简单性”本身我们习惯用参数量、层数、FLOPs 来衡量一个神经网络大不大但“大”和“复杂”不总是一回事。一个全连接网络如果权重非常稀疏虽然参数文件看着不小但实际起作用的自由度有限反过来一个卷积网络可能参数不多却因为非线性激活和特征叠加在输入空间里形成了非常曲折的决策边界。从数学上看一个神经网络不管有多少层本质上是一个函数输入映射到输出。这个函数的复杂程度应该体现在它变化有多剧烈、需要多少个不同频率或阶次的成分才能表达而不只是它内部有多少个权重。比如一个线性函数形式最简单哪怕它有几千个输入维度整体也就是一条超平面一个带大量高阶非线性项的模型即便参数很少也可能把输入空间分割得非常细碎一个残差网络可能参数很多但因为退化路径存在实际函数反而偏平滑。所以我们真正关心的是函数层面的简单性而不是参数层面的简单性。现有训练工具里L2 正则、Dropout、数据增强都是间接希望模型“变得更简单”但没有一个指标能让我们在训练过程中直接观察“简单性到底变了多少”。1.2 从观察属性变成优化目标是这篇工作最核心的转变为什么“量化简单性”这件事有如此大的吸引力因为一旦一个概念可以被计算它就能被放入优化目标。过去我们说某个模型“更简单”是训练完之后的一个观察结论现在我们想要的是在训练过程中就朝“简单”的方向优化。“量化并优化”这个标题里的两个动作缺一不可量化定义一个函数或数值能从神经网络中提取出复杂度信息优化让这个数值变成可微的、可反向传播的损失项从而影响权重更新。简单性一旦可优化就等于我们把“让模型更好解释”从后处理变成先验约束。更实际地说如果“简单性”能成为训练日志里的一个指标我们就可以像观察 loss 一样观察到模型从复杂到简单的过程。1.3 一个可量化的简单性指标对工程有什么直接价值从工程角度看这类指标至少有几个落点模型选型同样准确率的两个模型选简单性指标更低的那个更容易部署和维护对比实验不只是比较精度还能比较“函数复杂度”压缩与量化论文标题里的“量化”很容易让人联想到 int8、混合精度但这里更可能是“量化性质”的含义可解释性如果一个模型的复杂度主要来自少数几个多项式项那解释起来会容易很多鲁棒性函数越简单往往对输入扰动越不敏感但这需要具体验证。所以把“简单性”从感觉判断变成可计算指标不是一个学术上的炫技而是真正影响模型开发和评测方式的工作。2. 多项式表示为什么适合描述神经网络的复杂度2.1 多项式是函数复杂度的天然坐标系大学数学里有一个非常基础的结论闭区间上的连续函数可以用多项式一致逼近这就是 Weierstrass 逼近定理。换句话说任意一个连续映射都可以用一组多项式基函数来近似。神经网络研究的是函数逼近问题自然也可以落到多项式表示这个坐标系里。用多项式表示一个函数复杂度的含义变得非常具体。比如一个函数f(x) 1 0.5*x 0.05*x^2 0.001*x^3从系数大小就能看出它主要由常数项和一次项决定二次项和高次项影响很小。这样的函数在多项式表示下是“简单”的。再看另一个函数g(x) 0.1*x 2.3*x^2 - 1.4*x^3 0.8*x^4 - ...它的高阶项系数分布很乱没有哪个阶次占主导那么它在多项式意义下就是“复杂”的。神经网络当然不是简单的多项式但激活函数、卷积、归一化这些组件很多都可以在一定范围内展开成多项式或级数。ReLU 有分段多项式表示GELU 也有 Taylor 展开形式。更广义地说神经网络最终逼近的函数仍然可以看作一个输入到输出的多项式映射只是可能阶数很高、项数很多。2.2 用多项式阶数理解网络的“真实表达能力”神经网络的表达能力怎么理解一个常见说法是层数越深表达能力越强。但在多项式坐标系里“表达能力强”意味着可以拟合更高阶的项而不是一定要用更多参数。一个前馈神经网络每一层做的是线性变换加非线性激活。把非线性激活展开成多项式后整个网络可以在理论上展开成一个关于输入的高维多项式。低阶多项式通常对应平滑、简单的函数高阶多项式则可以表达剧烈变化和复杂模式。所以如果我们能够测量一个网络对应的多项式表示中低阶项占主导还是高阶项占主导系数分布是稀疏的还是到处都有非零值某个方向上的多项式阶数特别高还是在各个方向上都平均我们就能得到一种对“神经网络简单性”更本质的度量。这也解释了为什么这篇论文会选多项式表示作为工具它不是把问题复杂化而是找到了一个天然适合表达函数复杂度的语言。2.3 从多项式表示到“简单性度量”的几种可能路径用多项式表示一个神经网络具体做法有很多种可能性。比如对网络输出的激活值做多项式展开计算各阶项的系数能量占比用一组 Chebyshev 多项式基或 Bernstein 多项式基去拟合网络某个层的行为在训练过程中加入一个多项式分支让模型自动学习低阶和高阶成分对隐层特征做随机投影再在投影方向上估计多项式谱。“高阶项能量占比”是一个很自然的指标。假设我们把网络输出在某个正交基上展开得到一组系数 ( c_1, c_2, ... )那么可以定义complexity sum( k^2 * c_k^2 ) / sum( c_k^2 )这个指标只在系数集中在低阶时较小如果系数向高阶扩散复杂度就会变大。这样做的好处是简单、可微、容易集成到训练框架里缺点是多项式展开的基选择和截断阶数会显著影响结果。不过要注意论文标题并没有告诉我们它具体采用了哪一种构造方式。这里列出的都是这个方向上常见的处理思路更严谨的细节必须等论文全文放出后确认。3. 从“量化简单性”到“优化简单性”中间缺的不是公式而是工程路径3.1 一个朴素但可落地的训练框架如果假设这个 ED 方法真的把简单性度量变成了一个损失项那它的训练流程大概率可以写成下面这个通用框架。我先给一个容易理解的示例不代表原论文实现optimizer torch.optim.Adam(model.parameters(), lr1e-3) for x, y in dataloader: pred model(x) # 正常前向 loss_task criterion(pred, y) # 在激活输出或最终输出上计算多项式表示 poly_coeffs polynomial_embedding(pred) # 示例结构 loss_simple simplicity_loss(poly_coeffs) # 总损失 任务损失 lambda * 简单性损失 loss loss_task lambda_simple * loss_simple optimizer.zero_grad() loss.backward() optimizer.step()关键点在于simplicity_loss必须是可微的。如果多项式系数来自网络输出的展开那么通过链式法则梯度可以回传到网络每一层。这个机制意味着“简单性”不是训练完后的评估结论而是每一条样本上都在影响梯度更新。3.2 关键参数λ 怎么设、简单性用哪一层算真正动手复现的时候有两个问题必须想清楚而且它们很可能决定成败。第一个问题是正则系数 λ 怎么设置。λ 太小简单性损失的作用可以忽略不计λ 太大模型可能为了追求简单而牺牲拟合能力最终把复杂的决策边界都磨平了。建议从小规模任务开始做一次 λ 扫描观察训练集损失和验证集损失的变化。如果训练损失没有明显上升但验证集表现更稳定说明这个 λ 是比较合理的。第二个问题是简单性损失作用在哪一层。不同的作用位置效果差别很大作用在最终输出直接约束决策边界的复杂度但可能影响分类边界的学习作用在最后一层特征约束特征表示的复杂度对中间层影响有限作用在每一层约束最彻底但训练可能变得很不稳定作用在特定模块上比如 attention 层或残差分支可以针对性地控制某部分复杂度。从工程经验看先在最靠近输出的特征层或者最终输出上试是最稳妥的路径。因为中间层包含的信息通常比较丰富过早约束容易破坏特征提取能力。注意不要一开始就同时作用在多层并配上大 λ。先让模型在单层、小 λ 下跑通再逐步加码。3.3 先跑通再调复杂度落地时需要什么样的验证流程把这类方法用到自己的项目时我建议按照下面的顺序验证先建立一个不带简单性损失的 baseline在 baseline 上加入简单性损失保持相同训练设置观察训练集 loss 是否保持在可接受范围记录简单性指标是否真的下降了看验证集指标有没有改善或者至少没有明显变差如果验证集提升再做多组随机实验确认不是偶然。简单性优化最怕的事情是模型通过“特征崩溃”来降复杂度。比如所有样本的输出都靠近同一个常数那多项式表示自然很简单但模型也失去意义。所以验证过程中还要注意检查特征表示是否还有足够的区分度也就是不能让权重的有效秩大幅下降。4. 简单性优化对后续使用场景意味着什么4.1 和“模型量化”是两件事但能互相配合标题里的“量化”很容易让人联想到模型量化也就是 int8、fp8、混合精度部署那类工作。但这里更可能是“quantify”的含义量化指的是“度量”简单性而不是“降低权重精度”。这两个“量化”在英文里也不是同一个词只是中文都写作量化容易混淆。不过两者可以互相配合。一个在多项式表示下更简单的网络通常有更平滑的函数响应对权重数值扰动的容忍度也可能更高。这个特性在模型量化部署时是有价值的因为量化本质上给权重加了噪声函数越平滑量化带来的误差往往越小。但这种相关性需要实验验证不能想当然。概念英文关注对象常见手段简单性量化quantify simplicity函数复杂度多项式展开、稀疏性度量模型量化model quantization权重数值精度int8、fp8、混合精度所以这篇论文更接近前者而不是一篇部署压缩论文。4.2 可解释性直接读多项式的系数比直接看权重更容易神经网络难解释一个很大的原因是权重矩阵没有直观语义。权重值大小不能直接回答“模型依赖哪些输入特征”“模型是线性主导还是非线性主导”。如果模型可以用多项式表示来近似那解释的方式就变了。我们可以查看不同阶次的系数分布如果一次项系数占主导说明模型整体偏向线性判断如果二次项在某些方向特别大说明模型在那些方向上存在交互效应如果高阶项都很小说明即使网络层数很深它的实际行为也很平滑。这种解释方式比逐层梯度分析更接近函数本身。当然真正操作时输入维度通常极高需要在主成分方向或对某个样本的局部邻域做展开。这会降低解释的全局性但已经比直接看权重容易很多。4.3 模型选择与调参时的参考价值以后再做模型对比时除了记录参数量、FLOPs、准确率其实还可以多记一个“简单性指标”。这个指标能帮助回答很多实际问题两个候选模型准确率差不多选哪个上线当前模型在训练集上效果很好测试集上波动大是不是决策边界过于复杂蒸馏出来的小模型是不是真的把教师的“知识形状”学到了还是只学到了输出数值如果简单性度量足够稳健它就能成为这些问题的辅助判断依据。这不是说它一定能替代现有指标但至少可以让模型评测多一个维度而不是只看精度。建议在你的训练日志里额外记录每个 epoch 的简单性指标。训练结束后画一条曲线看它和验证集 loss 是否同步变化。如果同步那它对你的任务就是一个有意义的诊断信号。5. 如果想评估这类“简单性方法”我建议从三个维度看5.1 看度量是否满足几个基本性质论文提出的度量听起来越简单越好但如果要实际使用至少要满足几个基本性质同一模型在不同随机种子下训练指标波动不能太大模型能力被限制比如删除部分层时指标应该倾向下降模型输出被噪声污染时指标不应该剧烈变化权重整体乘一个常数不应导致复杂度假性增长。如果这些性质都不满足那这个指标可能只是在一个特定结构上有效很难迁移到其他任务上。评估指标本身甚至比复现训练过程更重要。5.2 看优化过程能不能保持表达能力一个复杂度指标进入损失函数后最危险的情况是模型走捷径把所有输出都压向一个常数或者在特征层面“塌缩”。一旦出现这种情况简单性指标会很好看但任务损失会同步上升。所以复现时一定要记录两个额外信号特征矩阵的有效秩每个样本输出之间的平均距离。如果简单性损失增加后特征秩明显下降输出越来越集中在少数几个点说明优化路径有问题。这时候需要降低 λ或者把简单性损失从全局改为局部正则。5.3 看在你的任务上简单性指标是否和泛化相关一个研究方法能不能落地最终要看它在你自己的任务上有没有真实价值。建议做一个这样的实验训练多个初始条件不同的模型计算每个模型的简单性指标计算这个指标和测试误差之间的秩相关。如果简单地回归复杂度低往往对应更好的泛化但复杂任务上高阶项表达可能反而是必需的。一个合理的简单性优化应该是在保留必要复杂度的前提下去掉多余的复杂度。如果你发现简单性指标和测试误差没有任何相关性那这个指标在你的场景里就只是一个装饰变量不必强行使用。6. 写在最后把“简单性”从口号变成工程指标是神经网络研究里被低估的一步这篇 ICML 2026 的工作到底具体怎么实现目前只能从标题里拼出一个大概。但它的方向非常清晰神经网络的“简单性”不是一个可以随口评价的形容词而是可以被数学工具量化、被训练目标优化的工程量。多项式表示提供了一个比参数数量更接近“函数本质”的坐标系。对普通开发者来说这篇论文给你带来的不一定是一个立刻能用的新训练技巧而是一个值得长期关注的问题意识以后选模型、调模型、做部署压缩时除了看准确率和参数量还可以问一句——这个模型的函数形式真的简单吗顺着这个思路下一步可以做的事情很具体先找到原论文的附页和代码看它定义的简单性度量是什么然后在一个小规模图像分类或回归任务上复现把“简单性”画成曲线最后判断这个指标在你自己的数据上是否稳定。如果能稳定复现它就有机会成为你日常实验报告里的一项常规指标。神经网络已经足够强大接下来真正拉开差距的可能不是把模型做得更复杂而是搞清楚模型到底在哪里复杂、为什么复杂还有哪些复杂是多余的。