摘要一颗卫星在轨道上不断拍摄图像、采集遥感数据却只有有限的时间和带宽把信息传回地面。为什么压缩能够帮助它把更多有价值的数据送回地球为什么人类能够从纷繁复杂的世界中发现规律为什么一个会预测下一个词的语言模型也能表现出翻译、问答、写作甚至一定程度的推理能力为什么科学家愿意悬赏奖励能够把维基百科压缩得更小的人这些看似不同的问题都指向一个重要思想智能与压缩之间存在深刻联系。压缩并不只是把文件变小它更意味着发现重复、识别结构、建立模型并用更短的描述解释更多现象。一个系统越能准确预测未来的数据就越能减少记录这些数据所需的比特数反过来一个优秀的无损压缩器也必然包含某种关于数据规律的预测模型。然而“压缩即智能”并不是说压缩率可以完整衡量一切智能。目标、行动、价值判断、因果推理和社会理解等能力不能被简单归结为文件大小。本文从香农信息论、算法信息论、最小描述长度原则、语言模型、神经压缩、脑科学和模型压缩等角度解释“压缩即智能”的科学依据、现实应用与理论边界。关键词压缩人工智能信息论预测语言模型最小描述长度算法信息论引子当卫星在太空中遇到“数据洪流”今天的卫星通信正在快速变化。传统通信卫星主要承担广播、电话和专用链路而低轨卫星星座、遥感卫星、气象卫星、导航增强系统和深空探测器正在把太空变成全球信息基础设施的一部分。3GPP 已在 Release 17 中首次为非地面网络Non-Terrestrial NetworksNTN制定规范性要求并在 Release 18 中继续增强卫星接入、覆盖和移动性能力[16]。这意味着卫星通信正在逐步与地面 5G 网络衔接未来的手机、物联网设备和行业终端可能在更广泛的区域直接使用卫星链路。与此同时卫星载荷产生的数据量也在迅速增长。更高分辨率的相机、更宽光谱范围的传感器、更高采样率的科学仪器都让卫星能够看得更清楚、测得更精细。但卫星并不能像地面数据中心那样随时接入光纤。它必须依靠有限的发射功率、天线尺寸、频谱资源和地面站可见时间把数据从数百公里甚至数亿公里外传回地球。ESA 指出现代仪器产生的原始数据经常超过可下传能力因此星上数据处理通常必须包含数据压缩或数据缩减[17]。通信技术本身当然也在进步。NASA 的深空光通信实验已经证明激光通信在相近尺寸和功率条件下可以实现至少比先进射频系统高 10 倍的数据速率[18]。但更快的链路并不会消除压缩的价值当链路容量提高任务设计者往往会选择更高分辨率、更高帧率和更多传感器数据需求随之继续增长。对于卫星而言每少传一个不必要的比特就可能节省能量、缩短占用链路的时间或为另一幅图像、另一组科学观测腾出空间。于是一个现实问题出现了卫星怎样判断哪些数据可以用更短的方式表达哪些细节必须完整保留哪些异常现象绝不能被当作噪声丢弃回答这些问题需要系统发现数据中的规律并对尚未传输的内容作出预测。压缩由此不再只是“把文件变小”的工具而开始显露出与学习、理解和智能相通的底层逻辑。一、压缩不只是“把文件变小”提到压缩人们首先想到的往往是 ZIP 压缩包、手机照片、网络视频和音乐文件。它们的共同目标似乎很朴素占用更少的存储空间消耗更少的网络流量。但如果继续追问“为什么数据能够被压缩”答案就会触及智能的核心。假设一段文本由一万个完全随机的字符组成每个字符都与前后内容毫无关系那么它几乎无法被有效压缩。因为压缩器没有规律可利用只能老老实实地记录每一个字符。相反如果一段文本是“哈哈哈哈哈哈……”的重复压缩器只需要记录“重复一万个‘哈’”即可。原本很长的数据被一个简短规则所取代。现实数据通常处在这两个极端之间。自然语言不是随机字符的堆积而是受到语法、语义、常识和上下文的约束照片不是随机像素的集合而是由边缘、纹理、物体和光照组成音乐不是随机声波而是包含节奏、和声和旋律人的行为也往往受到习惯、环境和目标影响。只要数据中存在规律就存在压缩的可能。因此压缩的本质不是删除数据而是用规律替代重复。一个优秀的压缩器必须回答三个问题哪些内容是可预测的哪些内容是真正意外的怎样用最少的比特记录这些意外从这个角度看压缩已经不再只是计算机工程中的存储技术而是一种理解世界的方法。所谓“理解”在很大程度上就是从大量细节中提取稳定结构用简洁模型解释复杂现象。二、香农信息论越意外的信息需要越长的编码1948 年克劳德·香农发表《通信的数学理论》奠定了现代信息论的基础[1]。香农没有讨论一句话是否有哲学意义也没有判断一幅画是否优美。他关注的是一个更基础的问题消息到底包含多少信息以及传输这些消息至少需要多少比特。在香农信息论中信息量与事件的意外程度有关。一个几乎必然发生的事件告诉我们之后并不会带来多少新信息一个极少发生的事件一旦出现就会带来更多信息。例如“太阳明天从东方升起”并不令人惊讶而“某城市六月下雪”则更值得记录。若一个事件发生的概率为 p它的理想编码长度可以写成 I(x) -log₂ p(x)。事件越可能发生所需编码越短事件越不可能发生所需编码越长。如果一个模型能够准确估计各种事件发生的概率就能为常见事件分配短编码为罕见事件分配长编码从而降低平均编码长度。香农的信源编码理论说明在理想条件下无损压缩的极限与信息熵密切相关[1][2]。这揭示了预测与压缩之间的直接关系。假设一个模型看到“今天天气很”它认为下一个字是“好”的概率为 80%那么“好”就只需要较短的编码如果实际出现的是模型认为概率极低的“硬”则需要更长的编码。模型预测得越准平均编码长度就越短。现代压缩算法中的算术编码、范围编码和熵编码都在不同程度上利用了这一思想。图 1 事件概率与理想编码长度的关系原创示意图三、从“统计规律”到“最短程序”香农信息论主要研究随机变量和概率分布但现实中还有另一类问题如何衡量某一个具体对象的复杂程度例如“0101010101010101”可以被描述为“重复 8 次 01”而一个缺少明显规律的同长度二进制串往往需要逐位记录。即使两者字符数量相同它们的复杂程度也不同。20 世纪 60 年代雷·索洛莫诺夫、安德雷·柯尔莫哥洛夫和格雷戈里·蔡廷分别发展了算法信息论的相关思想[3][4]。其中柯尔莫哥洛夫复杂度可以粗略理解为能够生成某个对象的最短程序长度。若一个字符串可以由非常短的程序生成它就是可压缩的若不存在明显短于字符串本身的生成程序它就接近不可压缩。这一思想带来一个极具吸引力的判断标准最好的解释往往是能够最简洁地生成观察数据的解释。科学研究本身就具有这种压缩特征。牛顿万有引力定律用一个简洁公式概括大量天体运动元素周期表将众多化学元素组织为有规律的结构达尔文的自然选择理论为生物多样性提供统一解释。科学理论并不是把所有观察结果逐条背下来而是用较短的规则解释大量事实。从这个意义上说科学发现是一种高级压缩。一个理论越能以简洁方式解释更多现象它就越具有认知价值。当然简洁不是唯一标准。一个理论还必须准确、可检验并能对未知情况作出可靠预测。四、最小描述长度好的模型既不能太笨也不能太复杂1978 年尤尔马·里萨宁提出了“最短数据描述建模”思想后来发展为最小描述长度原则即 Minimum Description Length简称 MDL[5][6]。MDL 的核心观点是在多个能够解释数据的模型中应选择使“模型本身的描述长度”与“模型未能解释的数据描述长度”之和最短的模型。如果模型过于简单它无法解释数据剩余误差会很大。例如用一句“所有学生成绩都一样”来描述一个班级的考试结果模型本身很短但误差很多。如果模型过于复杂它可能逐一记住每个学生的分数虽然误差为零但模型本身与原始数据一样长没有真正发现规律。最好的模型位于两者之间它既抓住了稳定规律又没有把偶然噪声当成规律。这与机器学习中的“过拟合”问题高度一致。一个模型在训练集上表现完美却无法处理新数据往往只是记住了数据而没有实现有效压缩。MDL 将奥卡姆剃刀从一句哲学格言转化为可以计算的模型选择原则。图 2 最小描述长度原则中的复杂度权衡原创示意图五、预测、压缩与学习为什么彼此相连学习的目标通常是从过去的数据中发现规律并把这些规律用于未知情况。压缩的目标则是利用数据中的规律减少表示数据所需的比特数。两者看似不同实际上共享同一个核心建立能够预测数据的模型。如果一个系统知道英语中“Thank you very”后面大概率出现“much”它就无需为“much”分配很长的编码。如果它知道照片中天空附近的像素通常颜色相近就可以只记录少量变化。如果它知道一段音乐的节奏模式就可以更高效地表示后续音符。反过来若一个压缩器能够把自然语言压缩得很好它就必须在一定程度上掌握语言中的统计结构。它可能需要识别词频、语法、固定搭配、文章主题甚至某些现实知识。例如看到“巴黎是法国的”知道后面大概率是“首都”的模型比完全不了解地理知识的模型更容易压缩这句话。因此预测误差可以转化为编码长度编码长度也可以转化为预测能力。2023 年的一项研究系统展示了语言模型与无损压缩之间的联系强大的语言模型可以作为通用预测器并被转换为压缩器传统压缩器也可以被转换为生成模型[7]。不过这并不意味着语言模型已经真正理解了所有图像和声音更不意味着压缩率能够替代所有智能测试。六、为什么语言模型像一台“知识压缩机”现代大语言模型的训练任务通常是根据已有文本预测下一个词或下一个词元。Transformer 架构通过注意力机制处理上下文使模型能够根据前文为后续内容分配概率[8]。训练过程中模型不断调整参数以降低预测错误和交叉熵损失。从压缩角度看这相当于让模型学习怎样用更少的比特编码文本。模型若认为正确答案的概率更高编码该答案所需的长度就更短若模型经常把高概率分配给错误答案编码长度就会增加。语言模型常用的困惑度指标本质上也与平均编码长度相关。这解释了一个看似神奇的现象为什么只训练“预测下一个词”模型却能获得问答、翻译、摘要和写作能力因为要在海量文本上持续提高预测准确率模型不能只记住局部词频还需要提取更深层的规律。它必须逐渐掌握语法结构、语义关联、文体差异、事实知识和上下文关系。越多的规律被吸收到参数中模型就越能准确预测文本。大语言模型的参数可以被看作一种高度浓缩的统计知识。互联网中的文本极其庞大而模型参数远少于训练语料中的字符总量。模型不可能逐字保存所有内容只能把大量共性压缩进权重之中。语言、知识和表达方式由此被转化为一个可以生成新文本的概率模型。不过这种压缩并不等同于可靠记忆。模型可能遗漏细节、混淆事实或生成看似合理但实际错误的内容。因为它保存的不是一部可逐页检索的百科全书而是对文本分布的近似建模。语言模型越像压缩器就越需要人们理解它的优势与局限它擅长重建常见模式却不天然保证每个细节都真实。七、压缩人类知识赫特奖的大胆实验“压缩即智能”最具代表性的现实实验之一是马库斯·赫特发起的人类知识压缩奖通常称为赫特奖。该竞赛要求参赛者无损压缩维基百科文本并把压缩程序本身的大小也计入最终结果[9]。为什么要把解压程序一起计算因为如果不计算程序大小参赛者可以把维基百科内容提前藏在程序里再输出一个极小的“压缩文件”。把程序与压缩结果共同计入才能更接近“模型长度加数据长度”的思想。赫特奖的基本动机是维基百科包含大量人类知识想把它无损压缩得更小就必须发现其中更深层的规律。一个只识别字符重复的压缩器能够取得一定效果一个理解词语搭配、文章结构、历史事实和世界知识的系统理论上可以压缩得更好。赫特奖并没有证明“压缩率就是完整的智能分数”但它提供了一个可量化的研究方向与其只讨论机器是否“看起来聪明”不如检查它是否真正发现了数据中的规律。文件大小虽然冷冰冰却比主观印象更难被花言巧语欺骗。八、图像、音频与视频看见世界也是在压缩世界压缩与智能的联系并不限于文字。图像压缩同样依赖对视觉世界的建模。一张照片中相邻像素通常高度相关。天空往往是一片渐变的蓝色墙壁可能具有相似纹理物体边缘呈现连续结构。传统图像压缩算法利用这些统计规律减少数据量。现代神经图像压缩则使用神经网络学习更复杂的变换和概率模型。Ballé 等人在 2018 年提出的变分图像压缩方法使用超先验模型捕捉潜在表示中的空间依赖关系并展示了端到端学习压缩模型的能力[10]。这里的关键不只是把图像变成更小的文件而是让模型学习“什么样的图像结构通常会出现”。有损压缩进一步引入了“什么值得保留”的问题。人类观看照片时不会同等关注每一个像素。主体轮廓、文字、面部和重要纹理通常比微小噪声更重要。一个智能压缩系统需要在码率与失真之间权衡在有限比特下优先保留对人类或下游任务最有价值的信息。这与信息瓶颈方法的思想相似。信息瓶颈强调在压缩输入信息的同时应尽量保留与目标任务相关的信息[11]。例如一个用于识别猫狗的系统不需要记住照片中每一粒灰尘的位置但需要保留耳朵形状、毛发纹理等有助于分类的特征。因此智能并不只是无损记录世界还包括有选择地忽略世界。忘记并不总是缺陷丢弃无关细节可能正是抽象和概念形成的前提。九、人脑是否也是一台预测压缩器脑科学中的预测编码理论认为大脑并不是被动接收感官输入而是在不断生成对外界的预测并重点处理预测误差。高层脑区根据已有经验形成预期低层感官系统则报告实际输入与预期之间的差异[12]。例如当我们阅读一句熟悉的话时大脑往往会提前猜测后续内容当我们走进厨房时不会重新分析每一个杯子和盘子的所有像素而是迅速利用“厨房”这一场景模型理解环境。只有出现异常情况例如水杯悬浮在空中才会引起强烈注意。预测编码与数据压缩有相似之处系统不需要反复传递已经预测到的内容只需重点传递误差。相关研究支持大脑中存在广泛的预测加工网络但预测编码仍是一种持续研究中的理论框架不能简单表述为已经被完全证实的“大脑工作定律”[12][13]。即便如此这一框架仍提供了有启发性的视角。感知可能不是对世界的逐像素复制而是大脑使用内部模型对感官信号进行解释。经验越丰富内部模型越好面对常见场景时需要处理的新信息就越少。所谓熟练往往就是把复杂任务压缩成少量高层模式。十、另一种“压缩智能”让人工智能模型更小“压缩即智能”还有另一层更工程化的含义不仅要用智能压缩数据还要压缩智能模型本身。现代神经网络可能拥有数十亿甚至更多参数部署时需要大量显存、计算能力和能源。为了让模型运行在手机、汽车、机器人和边缘设备上研究人员发展了量化、剪枝、知识蒸馏等技术。量化是用更少的比特表示模型参数例如把高精度浮点数转换为较低精度整数剪枝是移除贡献较小的连接或神经元知识蒸馏则让较小的“学生模型”学习较大“教师模型”的输出分布[14]。这些方法的共同目标是在尽可能保留能力的同时减少模型的存储与计算成本。模型压缩与知识抽象之间也存在有趣联系。如果一个大模型的能力能够被转移到更小的模型中说明原模型内部可能存在冗余。真正重要的不是每一个参数而是参数共同表达的结构。模型压缩因此不仅是部署工具也可以帮助研究者理解一个智能系统究竟需要多少信息哪些能力可以被保留哪些能力会在压缩过程中首先消失。但模型压缩也有代价。过度量化、剪枝或蒸馏可能损害准确率、鲁棒性和长尾知识。更小的模型未必在所有场景下都更聪明它只是以更低成本保留了部分能力。十一、压缩为什么不能完全等同于智能“压缩即智能”是一个强有力的观点但如果把它理解为“压缩率越高智能就一定越高”就会产生误导。首先智能不仅需要预测还需要行动。一个系统可能非常擅长预测文本却无法在真实环境中完成简单操作。赫特关于通用人工智能的研究也强调智能体不仅要建立世界模型还要根据目标选择行动[15]。其次智能与价值有关。压缩器只关心数据能否被更短地表示但现实中的智能体还需要判断什么值得追求、什么应当避免。医疗决策、社会治理和个人选择都不能只由压缩率决定。再次压缩可能利用错误或有害的规律。如果训练数据包含偏见一个模型也可能把偏见压缩进参数。能够准确预测社会偏见不等于应当延续这些偏见。此外某些能力并不容易通过静态数据压缩来衡量。创造力、道德推理、身体技能、情感理解和跨情境适应都包含目标、互动和环境反馈。一个压缩维基百科很强的系统未必能照顾病人、修理机器或理解一个人沉默背后的情绪。最后极端追求压缩还可能造成“把例外当噪声”的问题。统计上罕见的现象不一定不重要。新发现、异常病例和少数群体经验恰恰可能因为不符合常见模式而具有特殊价值。因此更准确的说法是压缩是智能的重要组成部分也是衡量学习和预测能力的有力工具但不是智能的全部。十二、从压缩视角重新理解知识与教育压缩视角不仅适用于人工智能也能帮助我们理解人类学习。死记硬背是一种低效存储。学生如果逐字记住大量题目却不能总结公式和方法就像把原始数据完整保存下来却没有建立压缩模型。真正的学习是从许多案例中提取可复用结构。数学公式是一种压缩概念是一种压缩分类体系是一种压缩故事和比喻也是一种压缩。它们把大量零散经验组织成较短、较稳定的认知结构。一个人能够用自己的语言解释知识往往意味着他已经把外部信息重新编码为内部模型。但教育不能只追求“越短越好”。过度压缩会损失必要细节。一个只记住结论而不理解条件的人容易在新情境中误用知识。好的学习应当像好的模型既抓住规律又保留对例外和边界的敏感性。从这个角度看专家与新手的差别不只是专家记得更多而是专家拥有更好的压缩方式。新手看到的是许多互不相关的细节专家看到的是少量有组织的模式。棋手看到棋盘上的“阵型”医生看到症状背后的“综合征”程序员看到代码中的“设计模式”。智能的增长往往表现为描述世界所需的内部语言变得更简洁、更准确也更具有预测力。十三、结语理解就是找到更短而更真的描述从香农信息论到柯尔莫哥洛夫复杂度从最小描述长度到现代语言模型压缩始终与预测、学习和理解紧密相连。数据之所以能够被压缩是因为世界并非完全随机智能之所以可能存在是因为规律可以被发现、表示和利用。一个好的压缩器不只是删掉重复字符它必须建立模型。一个好的学习系统不只是记住过去它必须预测未来。一个好的科学理论不只是罗列事实它必须用简洁结构解释更多现象。因此“压缩即智能”最有价值的地方不是把智能粗暴地缩减为文件大小而是提醒我们智能的核心能力之一是从复杂中发现简单从噪声中识别结构从无限细节中提炼可复用的规律。但真正成熟的智能还需要知道哪些信息不能丢哪些例外值得关注哪些目标值得追求以及怎样把预测转化为负责任的行动。压缩让系统更懂世界而价值与行动决定这种理解将被用于何处。压缩原理发展在极端带宽场景中催生了突破性成果。低码率语音压缩算法通过清/浊音判决、基音周期估计和LPC分析构建声学预测模型并融合波束形成与深度学习增强语音在超低码率下仍保持高可懂度。渐进式图像压缩算法则实现分包传输时的渐进显示先传轮廓、后补细节支持应用层重传与自适应压缩在窄带宽下兼顾抗误码与实时性最高可达千倍压缩比。两者共同印证压缩不是妥协而是用更聪明的模型替代更庞大的原始数据。在卫星通信、应急救灾等带宽稀缺场景中它们将理论转化为可用的智能服务。参考文献[1] SHANNON C E. A Mathematical Theory of Communication[J]. The Bell System Technical Journal, 1948, 27: 379-423, 623-656. https://people.math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf[2] COVER T M, THOMAS J A. Elements of Information Theory[M]. 2nd ed. Hoboken: John Wiley Sons, 2006. https://www.wiley.com/en-us/ElementsofInformationTheory%2C2ndEdition-p-9780471241959[3] SOLOMONOFF R J. A Formal Theory of Inductive Inference, Part I[J]. Information and Control, 1964, 7(1): 1-22. https://doi.org/10.1016/S0019-9958(64)90223-2[4] KOLMOGOROV A N. Three Approaches to the Quantitative Definition of Information[J]. Problems of Information Transmission, 1965, 1(1): 1-7. https://mlanthology.org/misc/1968/kolmogorov1965misc-three/[5] RISSANEN J. Modeling by Shortest Data Description[J]. Automatica, 1978, 14(5): 465-471. https://doi.org/10.1016/0005-1098(78)90005-5[6] GRÜNWALD P D. The Minimum Description Length Principle[M]. Cambridge, MA: MIT Press, 2007. https://homepages.cwi.nl/~pdg/book/book.html[7] DELÉTANG G, RUOSS A, DUQUENNE P A, et al. Language Modeling Is Compression[EB/OL]. arXiv:2309.10668, 2023. https://arxiv.org/abs/2309.10668[8] VASWANI A, SHAZEER N, PARMAR N, et al. Attention Is All You Need[C]//Advances in Neural Information Processing Systems. 2017: 5998-6008. https://arxiv.org/abs/1706.03762[9] HUTTER M. Human Knowledge Compression Prize[EB/OL]. https://prize.hutter1.net/[10] BALLÉ J, MINNEN D, SINGH S, et al. Variational Image Compression with a Scale Hyperprior[C]//International Conference on Learning Representations. 2018. https://arxiv.org/abs/1802.01436[11] TISHBY N, PEREIRA F C, BIALEK W. The Information Bottleneck Method[EB/OL]. arXiv:physics/0004057, 2000. https://arxiv.org/abs/physics/0004057[12] FRISTON K. Does Predictive Coding Have a Future?[J]. Nature Neuroscience, 2018, 21: 1019-1021. https://doi.org/10.1038/s41593-018-0200-7[13] FICCO L, MANCUSO L, MANUELLO J, et al. Disentangling Predictive Processing in the Brain: A Meta-analytic Study in Favour of a Predictive Network[J]. Scientific Reports, 2021, 11: 16258. https://doi.org/10.1038/s41598-021-95603-5[14] HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network[EB/OL]. arXiv:1503.02531, 2015. https://research.google/pubs/distilling-the-knowledge-in-a-neural-network/[15] HUTTER M. Universal Artificial Intelligence: Sequential Decisions Based on Algorithmic Probability[M]. Berlin: Springer, 2005. https://www.hutter1.net/official/bib.htm[16] 3GPP. Non-Terrestrial Networks (NTN)[EB/OL]. Updated 2025-07-04. https://www.3gpp.org/technologies/ntn-overview[17] EUROPEAN SPACE AGENCY. What is On-board Data Processing?[EB/OL]. https://www.esa.int/Enabling_Support/Space_Engineering_Technology/Onboard_Data_Processing/What_is_On-board_Data_Processing[18] NASA JET PROPULSION LABORATORY. Deep Space Optical Communications (DSOC)[EB/OL]. https://www.jpl.nasa.gov/missions/deep-space-optical-communications-dsoc/