这项由香港中文大学深圳与字节跳动联合完成的研究于2026年6月30日以预印本形式发布论文编号为arXiv:2606.31247。有兴趣深入了解技术细节的读者可以通过该编号在arXiv平台上查阅完整论文。**语音大模型为什么总是固定频率在说话**在手机里跟语音助手聊天或者用AI把文字转成语音的时候背后其实有一台机器在以固定的节拍处理声音——就像节拍器一样不管你说的是嗯……还是量子纠缠它都用同样的节拍去切分和处理每一段声音。现有的语音大模型Spoken Language Models简称SLM就是能同时听懂语音、用语音回答的AI系统普遍采用固定帧率的方式处理声音。所谓帧率就像电影每秒播放多少张画面一样语音帧率描述的是每秒钟用多少个声音片段来表示一句话。常见的系统要么用25赫兹每秒25帧要么用12.5赫兹每秒12.5帧。这个设定看起来没什么问题但仔细一想就会发现它的浪费之处你在说嗯……或者停顿的时候系统仍在老老实实地以固定频率处理这些几乎没有信息量的片段白白消耗计算资源。更麻烦的是固定帧率还剥夺了用户按需调速的权利——如果你的设备性能有限或者网络不好系统没有任何办法帮你在速度和质量之间做个权衡。香港中文大学深圳和字节跳动的研究团队针对这个问题做出了一项名为FlexiSLM全称Flexible Spoken Language Model即灵活语音语言模型的系统。这是业界首个同时支持动态帧率和可控帧率的语音大模型在听音和说话两端都做到了按需调速。---一、节拍器与即兴演奏家固定帧率与动态帧率的根本区别要理解这项研究解决了什么问题可以拿乐队打比方。传统的固定帧率语音模型就像一个永远以固定节奏敲鼓的鼓手不管前面的吉他手弹得多慢或多快鼓点始终如一。这种方式简单可靠但浪费资源——当舞台上没有人演奏的时候鼓手依然在机械地打着节拍。动态帧率则更像一位经验丰富的爵士乐鼓手能够感知音乐的节奏变化在安静的时候轻轻扫弦在激烈的段落才全力敲击。这种随内容调整节拍的方式正是FlexiSLM的核心理念。这套理念的技术基础来自一个叫做FlexiCodec的语音编码器由同一团队此前开发。FlexiCodec的核心思路是相邻的两段声音如果内容非常相近就可以合并成一个更长的片段来处理从而减少需要处理的帧数。判断要不要合并的标准是用一种叫做余弦相似度的数学方法计算相邻片段之间的相似程度——如果相似度高于某个阈值就合并如果相差较大比如从安静突然变成说话就保留独立处理。FlexiCodec在12.5赫兹的基础帧率下通过这种合并机制平均可以把实际处理的帧率降低到6.25赫兹也就是减少了一半的计算量同时还能保持不错的语音质量。不过这个技术此前只在0.3B参数规模的文字转语音小系统里验证过从未被用于真正的端到端语音大模型。FlexiSLM的工作正是把这套机制搬进了更复杂、也更实用的语音大模型体系里。---二、FlexiSLM的结构像思考者和说话者搭档工作FlexiSLM的整体架构可以理解为一对搭档一个负责理解和思考Thinker另一个负责把想说的话转化成声音Talker。两者之间协作完成从听声音到输出语音的全过程。负责理解的那一端叫做音频编码器它采用了来自Qwen2.5-Omni的预训练模块能把原始声音波形转换成每秒25帧的连续语音特征序列类似于把声音翻译成计算机能理解的数字信号。这25赫兹的信号随后会进入一个叫做帧合并模块的关键组件通过计算相邻帧的相似度来决定哪些帧可以合并最终把输入的语音压缩到不超过12.5赫兹的动态帧率序列再送入核心的大语言模型主干进行思考和推理。大语言模型主干也就是思考者的基础是Qwen2.5-7B-Instruct这个模型同样被Qwen2.5-Omni和Kimi-Audio用来初始化它们的主干算是业界主流的选择。有趣的是FlexiSLM的思考者在处理语音时并不是简单地读完输入就停下来而是贯穿整个用户提问到助手回答的全过程始终在思考这与Qwen2.5-Omni在文字生成结束后就停止思考的方式有所不同。负责输出语音的说话者Talker Transformer是一个专门设计的Transformer模块它接收思考者最后一层的隐藏状态作为输入同时还接收目标帧率信号和之前已经生成的语音令牌然后输出两条并行的数据流一条是FlexiCodec的语义令牌也就是离散化的声音片段代号另一条是每个令牌对应的帧长度属性。这两条数据流配合起来就能支持动态帧率的语音输出。为了防止说话者抢在大脑前面说话——也就是语音输出跑到对应文字内容之前——系统设计了一个5帧的延迟机制让语音流稍微落后于文字流确保语音和文字在时间上的对应关系是正确的。帧长度令牌还会再额外延迟一步让模型能先知道这个位置的语音内容是什么再决定它应该持续多长时间。还有一个值得关注的细节在标准的思考者到说话者单向信息流之外FlexiSLM还设计了一条可选的反向通道叫做说话者到思考者连接。这条通道会把说话者已经生成的语音令牌信息反馈回思考者让思考者在后续的推理中能够感知到我已经说了什么类似于一边讲话一边听自己说的内容从而更好地保持语音输出的连贯性。最终说话者输出的语音令牌会进入一个预训练好的流匹配Flow Matching音频解码器把离散的令牌转化为梅尔频谱图再经过Vocos声码器转换为24千赫兹的真实语音波形。---三、让帧率听从命令可控帧率的实现方式FlexiSLM最吸引眼球的能力是用户可以直接告诉模型我希望你以6.25赫兹的平均帧率输出语音模型就会老老实实地按这个节奏工作而不需要重新训练。要做到这一点研究团队先考虑了一种直觉上更简单的方案通过调整合并阈值来间接控制帧率。阈值高合并少帧率高阈值低合并多帧率低。这种方法确实有效但它有一个很麻烦的问题同一个阈值面对不同的句子会产生差异极大的帧率结果。例如把阈值设成0.90理论上应该输出大约8赫兹但实际结果在不同句子上的变化范围是3.91到10.74赫兹标准差高达0.70几乎没有什么预测性可言。于是研究团队提出了直接帧率控制的方案。训练阶段每一条语音样本处理时系统会随机采样一个合并阈值计算出该样本实际得到的平均帧率然后把这个帧率数值作为条件信号喂给说话者。用一个通俗的类比来说这就好比不再告诉厨师把火调到中档间接控制而是直接说我要你做出七分熟的牛排直接目标然后让厨师自己判断应该开多大火、烤多长时间。推理时用户只需要指定目标帧率系统就会自动调整内部的合并强度来匹配这个目标。为了能够平滑地覆盖4赫兹到12.5赫兹这个范围内的任意帧率而不是只支持几个固定档位研究团队用了一种叫做正弦位置编码的方式来把帧率数值编码成连续的向量信号输入给说话者的每一个时间步位置。实验数据验证了这种直接控制方式的精准度目标6.25赫兹时实际输出帧率在不同测试集上的均值都在6.24到6.25赫兹之间标准差仅为0.03到0.06几乎没有偏差目标4.0赫兹时实际输出同样高度准确。相比之下间接的阈值控制方法在相同测试集上的帧率变化范围可以超过6赫兹完全无法预期。---四、训练的三个阶段从学会说话到说得更好FlexiSLM的训练过程分成三个依次递进的阶段就像培训一位同时担任翻译和播音员的工作人员先让他学会播音再让他学会翻译最后把两项技能打通融合。第一阶段叫做说话者预训练。在这个阶段大语言模型主干被冻结不动只训练说话者模块训练数据是大量英文文字转语音数据来自Emilia和多语种LibriSpeech数据集共约10万小时。目的是让说话者先学会如何把语义令牌转化成高质量的语音输出不需要理解语言内容只需要会说就行。说话者到思考者的反向连接在这个阶段是关闭的。第二阶段叫做多任务LoRA微调。LoRA是一种轻量级的模型微调技术可以在保留原有模型参数的基础上用少量额外参数来适应新任务类似于给已经训练好的大脑加装补丁而不是重写整个大脑。这个阶段打开了输入端的帧合并模块和大语言模型主干在混合任务数据上同时训练数据包括语音对话、文字转语音、语音识别和音频理解等多种任务。这个阶段最重要的数据来源是研究团队专门构建的FlexiSLM-Data数据集包含140万条语音对话样本共9900小时的语音。构建过程是这样的研究团队从多个公开的问答、指令跟随和对话数据集中收集了文字提问用更大的Qwen3-Omni30B参数生成文字回答再用Qwen3-TTS把回答合成为语音用Fish-Audio TTS合成提问语音最后通过格式过滤、准确性过滤和语音识别质量过滤筛掉格式异常、内容错误或语音质量太差的样本最终得到140万条高质量样本。第三阶段叫做全参数微调。这个阶段把第二阶段的LoRA补丁合并回原始参数对整个模型进行全参数训练同时开启并训练说话者到思考者的反向连接。这一阶段的目标是进一步提升12.5赫兹最高质量档位下的性能同时增强低帧率下的鲁棒性。整个训练在24块A100 80G GPU上完成。训练损失由三部分组成文字令牌的预测损失、语音令牌的预测损失以及帧长度令牌的预测损失三者加权求和其中文字损失的权重是另外两项的两倍。---五、和同类模型的比较数字背后的实力展示在Kimi-Audio-Evalkit这套评测体系上FlexiSLM-7B与Qwen2.5-Omni-7B、Kimi-Audio-7B、Mimo-Audio-7B等主流7B参数语音大模型进行了正面比较。评测包括语音问答OpenAudioBench和VoiceBench两个基准覆盖知识问答、指令跟随、安全性等多个维度、语音识别LibriSpeech测试集以及音频理解任务。评测同时测试了语音输入文字输出s2t和语音输入语音输出s2s两种模式。在最高质量的12.5/12.5赫兹配置下输入输出都用12.5赫兹FlexiSLM-Stage3的综合得分是72.4/67.2s2t/s2s满分100而同为7B参数的Qwen2.5-Omni-7B是66.7/63.3Kimi-Audio-7B是69.7/57.2Mimo-Audio-7B是70.6/59.0。FlexiSLM的语音回答质量明显领先在语音对话这个最贴近实用场景的任务上优势尤其明显。把输出帧率降低到6.25赫兹之后FlexiSLM的综合得分几乎没有变化维持在72.3/66.2说话者输出的语音令牌数量减少了一半但质量损失极小。进一步把输入和输出都降到6.25赫兹得分是70.2/64.3在语音对话这个维度上依然超过所有7B基线模型在语音转文字维度也与最强基线持平。这直接证明了研究团队的核心主张动态帧率语音大模型可以在更低的计算开销下达到甚至超过固定帧率模型的表现。继续把帧率压低到5.0/5.0赫兹综合得分降到69.0/60.4压到4.0/4.0赫兹则是67.2/56.5。LibriSpeech的语音识别错误率WER也随之上升在6.25赫兹下是2.55/6.37干净测试集/嘈杂测试集5.0赫兹下是3.34/7.854.0赫兹下是4.47/9.53。可见在6.25赫兹之下质量衰减变得更加明显低于6.25赫兹的鲁棒性改进是未来工作的重要方向。在推理速度方面实际测量结果同样印证了研究价值。实时因子RTF数值越小说明越快等于1意味着处理速度等于音频时长小于1意味着比实时更快的测量在单块A100 GPU上进行批大小为1。FlexiSLM在12.5/12.5赫兹配置下的RTF是1.17而Qwen2.5-Omni-7B是1.57FlexiSLM已经快了34%。把输出帧率降到6.25赫兹FlexiSLM的RTF降到0.59比实时速度快了将近一倍相比Qwen2.5-Omni快了约2.7倍。从计算量的角度看12.5赫兹配置下FlexiSLM需要约4.57 TFLOPs输出降到6.25赫兹后降到3.41 TFLOPs输入输出都降到6.25赫兹时进一步降到2.73 TFLOPs。输出帧率是推理速度最主要的决定因素因为自回归的语音生成一帧一帧地输出占了推理总时间的大头而输入帧率的改变对速度影响相对较小因为输入是并行处理的。在语音生成质量方面研究团队还用LibriSpeech-PC数据集测试了文字转语音的识别错误率。FlexiSLM在12.5赫兹下达到2.14%优于Qwen2.5-Omni的3.18%和Qwen3-Omni的3.34%。在对话回答的语音中FlexiSLM在12.5赫兹下的识别错误率是4.52%同样优于Qwen2.5-Omni6.33%。这些数字说明FlexiSLM输出的语音不仅速度快而且发音清晰度也更高。在音频理解任务上FlexiSLM也表现出色。在LLaSO-Eval基准上覆盖情感识别、口音识别、人声分类、乐器识别和性别分类等任务FlexiSLM在12.5赫兹下平均准确率达到65.8%超过Gemini 2.5-Pro的48.3%和LLaSO-3B的58.3%。值得注意的是音频理解类任务在帧率降低时表现非常稳定从12.5赫兹一路压到4.0赫兹准确率几乎没有变化始终维持在63%到66%之间。这是因为情感、口音这类整体性特征不依赖精细的局部音素细节全局声学统计信息在合并后仍然保留。---六、消融实验拆解每个设计决策的贡献研究团队还系统地测试了FlexiSLM各个设计选择的必要性用更小规模的训练8块GPU训练到第二阶段结束做了对比实验所有变体都在6.25/6.25赫兹下评估。如果把动态帧合并换成均匀合并每两帧固定合并成一帧而不是根据相似度判断结果是语音对话综合得分从63.0下降到61.0文字转语音的识别错误率从3.11%上升到4.95%涨幅约59%。这说明动态合并确实比均匀合并保留了更多对输出语音质量有意义的信息不是随便两帧凑一起就够的。类似地如果把输入端的动态合并也换成均匀合并语音转文字的综合得分从68.7下降到67.5LibriSpeech困难测试集的识别错误率从7.20%上升到7.97%而语音对话得分和简单测试集的识别率几乎不变。这说明动态输入合并主要对需要精细语音理解的任务有帮助比如难以识别的语音片段和复杂的指令跟随而对整体对话质量的影响相对较小。把直接帧率控制换回间接的阈值控制语音对话和文字转语音的质量都有所下降而语音转文字和语音识别几乎不受影响。研究团队认为阈值控制的模糊性让说话者在训练过程中面临更复杂的学习任务需要从一个不够精确的条件信号中猜测目标帧率从而减慢了收敛速度在有限训练预算下导致生成质量较差。研究团队还测试了不同编码器和主干的选择。换用SenseVoice编码器语音问答稍有下降但语音识别有所提升换用专门的ASR编码器Qwen-ASR语音识别大幅提升但语音问答明显下降——这与直觉一致ASR编码器善于识别文字内容但理解语义层面的能力较弱。换用Qwen2.5-Omni的预训练主干语音问答下降但语音识别提升说明从文字LLM出发的主干拥有更强的知识和推理先验对语音问答这类任务帮助更大。最后如果把输入端帧合并模块中的Transformer去掉直接把合并后的特征送入大语言模型语音识别错误率急剧恶化干净集从2.92%涨到6.45%困难集从7.20%涨到12.33%语音问答也明显下降。这个实验说明那个用于重新对齐动态合并后特征的轻量Transformer是不可或缺的它的作用是把长度不一、边界不规则的合并特征整理成大语言模型能够顺畅消化的表示形式。---说到底FlexiSLM做的事情是给语音大模型装上了一个变速齿轮。以前的系统只能全速运行就像一辆只有一个挡位的汽车不管是高速公路还是拥堵市区都得用同一个速度FlexiSLM则让模型能够根据实际需要灵活切换速度在性能充裕时全速运行在资源有限时降速节能而且整个过程不需要换车一个模型就能搞定。这对普通用户意味着什么呢或许在不远的将来当你用一个AI语音助手时它可以在你需要最快响应的场景下以低质量快速给你答案在你有充足等待时间时切换到高质量模式——而这个切换只需要一个参数的改变不需要部署两套不同的系统。对于计算资源有限的边缘设备比如手机或智能音箱来说这种灵活性的价值更为显著。当然研究团队也坦诚地指出了现阶段的不足。FlexiSLM目前还不支持流式输出意思是它需要等模型把整个回答生成完之后再播放而不是像人类对话那样边想边说这对于追求实时交互体验的场景是个明显的局限。此外模型还没有经过RLHF或DPO这类专门的对齐训练这是让大模型更说人话、更有帮助的常用技术训练数据也集中在单轮对话对多轮对话、深度推理和复杂指令的支持还有提升空间。如果对这个研究感兴趣希望了解更多技术细节可以通过arXiv:2606.31247找到完整论文或者访问该团队在GitHub上的开源代码库。---QAQ1FlexiSLM的动态帧率和普通语音模型的固定帧率有什么本质区别A普通语音模型以固定节拍处理每一段声音不管内容是否有信息量都一视同仁FlexiSLM则会判断相邻声音片段是否相似把内容相近的片段合并处理只在内容变化明显时才保留细粒度处理。这样能减少计算浪费平均帧率可以从12.5赫兹降到6.25赫兹推理速度大约快一倍。Q2FlexiSLM把帧率压得很低语音质量会不会变差到听不清A在6.25赫兹下语音质量损失很小综合评分只下降约1分满分100语音识别错误率仍在可接受范围约2.55%/6.37%。压到5.0赫兹时损失开始明显增加4.0赫兹下会有较大质量下降。因此6.25赫兹是当前兼顾速度和质量的比较合理的平衡点。Q3FlexiSLM的帧率控制和其他语音大模型相比有什么优势A现有的语音大模型如Qwen2.5-Omni、Kimi-Audio都是固定帧率无法在推理时调整。FlexiSLM是目前第一个支持直接指定目标帧率的语音大模型用户只需告诉模型我要6.25赫兹模型就能精确执行误差小于0.1赫兹不需要重新训练也不需要部署多套系统。