这项由腾讯大语言模型部门与中国科学院信息工程研究所、南开大学联合完成的研究以预印本形式于2026年7月6日公开发布论文编号为arXiv:2607.04884。感兴趣的读者可以通过这个编号在arXiv上查阅完整论文或访问腾讯混元OCR的HuggingFace主页获取模型权重。文字是人类知识最密集的载体。当你拍下一张合同的照片想让电脑帮你整理内容或者把一份日文菜单截图发给朋友希望直接翻译成中文甚至翻阅古籍时希望计算机能认出那些古老的文字——这些需求背后都依赖一项核心技术光学字符识别也就是通常说的OCR。然而传统OCR系统有一个根深蒂固的缺陷。它的工作方式就像一条老式的工厂流水线第一道工序找出文字在图片里的位置第二道工序把文字切出来第三道工序识别字符第四道工序再把结果拼回去。这条流水线上任何一道工序出了差错错误就会顺着传下去越积越多最终吐出一堆混乱的结果。更麻烦的是这种拼凑式架构根本无法理解文字之间的语义关系碰上复杂的表格、多栏排版或者跨页文档往往束手无策。腾讯混元团队一直在尝试一种截然不同的思路把所有文字理解任务塞进一个端到端的视觉语言模型里让它像读书的人一样直接看整页文档理解文字的含义和结构一气呵成地输出结果。这个思路在上一代产品HunyuanOCR-1.0上得到了初步验证。而这次发布的HunyuanOCR-1.5则在此基础上专注回答一个更务实的问题**在不改变这套框架的前提下怎样让它跑得更快、能力更强**一、一个模型识别万千文字场景要理解HunyuanOCR-1.5的价值首先要知道文字识别在现实世界里有多复杂。最常见的场景是文档解析——把一张扫描好的合同、论文或者报告图片转成可以编辑的文字格式。但文字识别的需求远不止于此。街头招牌上的艺术字、手写的便条、视频里一闪而过的字幕、跨越好几页的表格数据、用甲骨文或篆书写成的古籍、需要直接翻译成另一种语言的外文图片——这些都属于文字相关的视觉任务而现有的大多数模型只在其中一两类上做得比较好。HunyuanOCR-1.5的目标是把所有这些任务统一在一个模型里解决就像一个真正精通文字的万能助手而不是只会做单项题的偏科选手。从架构上说这个模型沿用了HunyuanOCR-1.0的紧凑设计一个负责看图片的视觉编码器基于腾讯自研的Hunyuan-ViT一个把视觉信息翻译成语言模型能理解的形式的连接器以及一个轻量级语言模型Hunyuan-0.5B负责最终生成文字输出。整个模型的参数规模只有约1B十亿属于当今大模型标准下的迷你选手。这一代最重要的结构升级发生在视觉编码器上最大支持的图片分辨率从2K提升到了4K。这意味着模型现在可以直接处理更高清的文档图片不需要事先压缩或裁剪密密麻麻的表格或超大幅面的图纸上的细节都能被保留下来。二、速度瓶颈为什么OCR模型特别慢在说这次的加速方案之前先要理解一个根本性的问题为什么文字识别这件事会这么慢任何基于语言模型的系统在生成文字时都是一个字一个字往外吐的这叫做自回归解码。每生成一个字都需要模型做一次完整的计算然后再根据前面所有已生成的内容决定下一个字是什么。一篇几百字的文档模型就要做几百次这样的计算一篇几千字的长文档就要做几千次。这就像一个速记员不管你说话多快他只能一字一字地记绝不会跳着来。对于自然对话或者简短问答这个速度勉强够用但OCR场景完全不同——一页密集的文档动辄几千个字一份复杂的表格可能有上万个单元格每次请求都要生成大量的结构化文字自回归解码的效率瓶颈在这里被放大到了极致。HunyuanOCR-1.5采用的解决方案叫做**DFlash推测解码**其原理可以用一个检查员与助手协作的场景来理解。假设一个公司的文件审核流程是主任审核员目标模型必须仔细看完每一份文件才能签字这个过程很慢。现在他找来了一个经验丰富的助手草稿模型让助手先快速浏览一份文件预测出主任接下来会签什么意见写出一个草案。然后主任只需要快速核对这份草案如果助手写对了主任直接接受并推进如果助手写错了主任在错误处打住把正确意见补上。关键在于助手不是一个字一个字地预测而是一口气预测一整段一个块即block。主任核对这一整段的时间比他自己从头写这一段的时间短得多。这样一来每一次主任参与的计算能推进的工作量就大大增加了整体效率自然提升。DFlash的技术实现稍微精妙一些。这个草稿模型是一个基于块扩散原理的小型神经网络参数量约为90.7M约为目标模型的不到十分之一。它的工作方式是在目标模型完成一次计算后缓存下目标模型的隐藏状态可以理解为模型读懂了文档之后留下的理解信息然后用这些信息作为条件在一次前向计算中同时预测接下来的16个词元词元是语言模型处理文字的基本单位大致相当于一个汉字或一个英文单词。目标模型随后对这16个预测进行批量验证接受从头开始连续正确的那一段保留最长的正确前缀作为输出。训练这个草稿模型的过程需要一些巧妙的设计。训练时主模型被冻结不动只优化草稿模型。为了让草稿模型在一次前向计算中处理多个独立的块预测任务研究团队使用了一种叫做FlexAttention的技术来设计注意力掩码确保不同块之间互不干扰但每个块都能看到自己锚定位置之前的所有上下文信息。损失函数中还加入了指数衰减权重越靠前的预测权重越高越靠后的预测因为不确定性更大而降低权重这让训练更聚焦于真正有价值的预测。这套方案的加速效果格外显著是因为OCR输出恰恰具有强局部规律性。一张HTML表格的下一行通常和上一行结构类似数学公式的下一个符号往往遵循固定的LaTeX语法结构化Markdown文档的格式也高度重复。这种规律性让草稿模型的预测更容易准确意味着每次主模型验证时能接受的正确词元数量更多加速效果也就越好。在实际测试中以OmniDocBench文档解析基准为测试集与标准自回归解码相比DFlash在Transformers框架下实现了6.37倍的加速在vLLM部署框架下实现了2.14倍的加速平均每页的处理延迟从3.032秒降至1.408秒。更值得关注的是加速效果随着输出长度的增加而提升对于超过2048个词元的长输出vLLM下的加速比达到了2.30倍Transformers下更达到了6.67倍。在不同内容类型上表格内容因为结构最规律而获得了最大的加速vLLM下2.39倍公式其次2.06倍纯文本最少1.81倍。与同类系统相比HunyuanOCR-1.5使用DFlash以每页1.408秒的处理速度成为所有参与对比的系统中最快的比两阶段流水线方案GLM-OCR快约1.17倍比PaddleOCR-VL-1.6快约1.24倍比同为端到端方案的dots.ocr快约5.08倍。此外HunyuanOCR-1.5还支持通过llama.cpp在普通PC、消费级显卡甚至笔记本电脑的CPU上运行进一步降低了部署门槛。三、数据炼金术用AI特工造数据速度问题解决了能力怎么扩展这里研究团队提出了一个叫做**Agentic Data Flow智能体数据流**的框架本质上是让AI助手来帮AI模型补课。模型能力的上限在很大程度上取决于训练数据的质量和覆盖范围。当模型在某类任务上表现差时最直接的修复方法就是补充这类数据。但问题在于补充数据说起来简单实际操作极其繁琐你需要搜集原始材料筛选和清洗低质量内容设计数据生成的流程编写处理脚本检验生成结果的质量根据问题反复调整——这一套下来往往需要大量人力和时间。Agentic Data Flow的做法是算法工程师用自然语言告诉一个配备了各种工具调用能力的AI智能体我们的模型在低资源语言识别上很弱请帮我生成这方面的训练数据然后智能体自主完成绝大部分的繁琐工作。这个智能体可以调用网络搜索来收集语料库和字体文件可以调用OCR服务和视觉语言模型来自动检验收集到的背景图片质量可以编写渲染脚本和数据生成流程并在工程师检查中间样本、指出质量问题后自动修正。整个过程就像工程师有了一个不知疲倦的AI助手团队能在工程师的方向指导下自主推进大量机械性工作。这个框架在HunyuanOCR-1.5中被应用于三类难题的数据构建。第一类是低资源语言OCR。世界上有数千种语言但绝大多数语言在互联网上的数字资源极为匮乏主流OCR系统对这些语言往往束手无策。智能体通过网络搜索自动收集了覆盖331种语言的文字语料和对应的TTF字体文件测试每种字体对各自语言字符的渲染兼容性然后仿照SynthText和SynthDoG等经典数据合成方法将不同语言的文字以各种可控的排版风格渲染到多样化的背景图片上生成海量合成训练数据。第二类是古文字OCR。中国文字有漫长的演化历史从甲骨文、金文、大篆、小篆到隶书、楷书、行书、草书每种字体在视觉形态上差异巨大现代OCR系统几乎无法处理。智能体自动搜集了七种历史字体对应的多种TTF字体文件收集具有古籍或历史文献风格的背景素材并通过调用HunyuanOCR-1.0和Qwen3.5进行多模型联合验证来过滤掉质量不佳的背景图。随后按照不同历史字体的书写方向如古代文字常见的竖向右起排版、布局风格和视觉特征开发了专门的古文字合成数据流程支持多种背景、字体、版式和做旧效果的组合。第三类是多图文档问答。现实中的文档往往不止一页用户需要跨越多个页面检索和整合信息来回答问题。智能体收集了大量多页PDF文档用PDF工具提取每页的文字内容和结构信息将这些内容按页面顺序整理成跨页上下文然后调用强大的文字模型来生成需要真正理解多个页面才能回答的问题——包括跨页信息检索、多页内容比较、证据汇总和文档级推理题。为了确保这些问题确实需要多页理解数据流还自动过滤掉了只看单页就能回答的问题、答案与PDF内容不一致的样本以及没有明确文字证据支撑的问题。四、从有点会到真的强三阶段训练配方有了新数据接下来是怎么用好它们的问题。HunyuanOCR-1.5的训练分为三个阶段每个阶段承担不同的任务。第一阶段是预训练的补课。研究团队没有推倒重来而是复用HunyuanOCR-1.0的前两个预训练阶段只对第三阶段进行了重新规划。调整后的第三阶段同时喂入三类数据Agentic Data Flow生成的新能力数据、多图理解数据、以及来自1.0版本的历史OCR数据。新数据的作用是补充短板历史数据的作用是防止遗忘已有能力。与此同时这一阶段还把最大图片分辨率提升到4K把上下文窗口扩展到128K词元相当于能同时处理约六七万个汉字让模型能够处理高清文档和超长文本。第二阶段是监督微调SFT可以理解为精修。团队从1.0版本的训练数据出发系统清除了标注错误、格式不一致、图文不匹配和重复低质的样本再注入Agentic Data Flow生成的新能力数据和用户反馈的难题案例。微调数据被分成两份一份用于当前阶段的SFT另一份——主要由高难度样本构成——留给下一阶段使用。此外这一阶段还统一了不同任务的指令格式给每类任务配备了专门的提示词避免模型在处理不同任务时出现理解混乱。第三阶段是强化学习RL这是真正突破能力天花板的环节。强化学习的核心思想是不直接告诉模型正确答案是什么而是让模型自己尝试然后根据结果给予奖励或惩罚。HunyuanOCR-1.5设计了三种互补的奖励信号。第一种针对文档解析的事实准确性。模型输出被拆分为两部分纯文字部分用基于编辑距离的指标打分衡量输出与正确答案的字符差异特殊结构元素表格和图表则用专门设计的指标打分。对于表格研究团队改进了现有的TEDS指标结构奖励换成了更透明的一维结构探针指标内容奖励加入了锚点引导的去样式化机制让公式等不同写法但语义相同的内容不会被误判为错误。对于图表数据会被转成CSV格式然后用SCRM指标计算均值平均精度这个指标对行列顺序不敏感因为把图表数据的行列调换不影响图表本身的含义。第二种针对通用问答任务。这里采用了让语言模型当裁判的方式模型的回答和参考答案同时提交给一个判题LLM由它判断二者是否一致。对于普通问答判题结果是二值的一致得1分不一致得0分对于翻译任务则提供源语言文字和目标语言标签等辅助信息让判题LLM在0到5分范围内打软分并通过去偏差映射将分数转换到0到1区间提高对翻译质量细微差异的敏感度。第三种针对稳定性专门惩罚失控的输出。当模型遇到不熟悉的输入时有时会生成无休止的重复内容或者超出合理长度的输出严重影响实用性。针对这个问题训练中为每个任务设定了输出长度上限超过上限的生成直接得0分同时还会检测输出末尾是否出现短单元的连续重复如同一段文字反复出现多次检测到则同样得0分。强化学习的优化算法采用了IcePop这是一种改进版的GRPO群相对策略优化方法。它的特别之处在于能处理训练引擎和推理引擎之间参数不完全同步带来的偏差——在大规模训练中为了效率往往把推理和训练分开运行但两侧的模型参数不完全一致不加处理会导致梯度计算失准。IcePop通过计算两侧策略的词元级比值只保留比值在合理范围内的词元参与梯度更新从根本上抑制了这种不一致带来的训练不稳定性。五、成绩单新能力与老能力全面检验HunyuanOCR-1.5的评测方案本身就值得一说。研究团队没有只看一两个标准榜单而是构建了一棵能力评估树把模型需要具备的所有能力分成五个大类基础OCR和文档理解、长尾能力扩展、结构化视觉元素解析、跨页跨语言理解、以及应用级可靠性评估。在古文字识别方面Chronicles-OCR基准覆盖甲骨文、金文、篆书、隶书、楷书、行书、草书七种字体。HunyuanOCR-1.5在1B参数的轻量级模型中达到了SOTA水平甲骨文等古文字archaic scripts的解析得分为0.54成熟字体mature scripts的得分为0.79。相比之下同类别的专业OCR模型中DeepSeek-OCR的成绩分别只有0.01和0.24即便是参数量大得多的通用视觉语言模型在古文字上的表现也普遍不如HunyuanOCR-1.5。在图表解析方面ChartArena基准包含柱状图、折线图、饼图、雷达图、箱线图、组合图、流程图、思维导图等多种图表类型同时覆盖中英文场景。HunyuanOCR-1.5以48.9英文均值和64.1中文均值的综合成绩达到了与8B规模通用模型相当的水平而它的参数量只有1B不到8B模型的八分之一。在表格解析方面TableVerse-5K基准专门考查复杂版式下的表格结构和内容重建。HunyuanOCR-1.5在TEDS和TEDS-S两项指标上分别达到了78.23和84.84在所有专业OCR模型中位居第一。在多图文档问答方面DUDE基准要求模型跨越多页文档检索和整合信息。HunyuanOCR-1.5在验证集上得到54.64分非常接近0.8B规模通用多模态模型Qwen3.5-0.8B的56.41分说明经过专门的多图训练后这个专注OCR的模型已经具备了相当的跨页理解能力。在低资源多语言解析方面MORE基准覆盖149种语言。HunyuanOCR-1.5以91.90的总分在所有专业OCR模型中排名第一超过了此前领先的PaddleOCR-VL-1.689.88。研究团队还特别引入了一个全新的评测维度称为CHAOS-Bench面向OCR序列的综合幻觉评估基准。这个基准的设计思路很有创意在学术论文的图片里故意把几个选定词语的某个字符替换掉变成一个没有任何语言意义的乱码词然后检测模型的输出里是否保留了这个乱码词。如果模型真的忠实地把图片里的文字原样转录这个乱码词就应该出现在输出里如果模型依赖语言先验脑补了一个合理的词乱码词就会消失说明模型产生了幻觉。HunyuanOCR-1.5在这个指标上的得分为14.15显著高于其他参与对比的模型最接近的只有6.33但绝对值仍然偏低说明忠实保留看见的字而非认识的字依然是当前所有OCR模型的共同挑战。在继承自1.0版本的核心能力上HunyuanOCR-1.5同样有所提升。在OmniDocBench v1.6端到端文档解析榜单上它以94.74的总分在所有端到端专业OCR模型中位居第一超过了FireRed-OCR93.26、ABot-OCR93.30、Unlimited-OCR93.92等同类竞品甚至超越了部分参数量大得多的通用视觉语言模型。文字定位和识别Spotting测试中HunyuanOCR-1.5的综合得分从1.0版本的70.92提升到71.40并新增了无文字图片处理能力当输入图片中根本没有文字时模型不会臆造出不存在的文字框而是正确返回没有文字。在内部1000张无文字图片的测试集上这项能力的准确率达到了99.8%而1.0版本只有78.1%这对需要处理各种真实输入的OCR系统来说非常关键。在文字图片翻译方面HunyuanOCR-1.5在覆盖更多语言和场景的MMTIT基准上的得分英文方向76.51中文方向76.01超过了HunyuanOCR-1.073.38/73.62并在参数量只有1B的情况下超过了8B规模的Qwen3-VL-8B75.09/75.63。在信息提取、视频字幕提取和通用OCRBench问答等维度上HunyuanOCR-1.5也稳定保持了与1.0版本相当或略有提升的表现。说到底HunyuanOCR-1.5做到了一件不容易的事在不把模型变大、不改变核心框架的前提下通过更聪明的推理加速、更系统的数据构建和更精细的训练策略同时实现了快和强两个目标。对于那些真正需要在实际产品中部署OCR能力的工程师来说这意味着同样的硬件预算下可以处理更多的请求同样的延迟要求下可以支持更长的文档此前无法覆盖的古文字、稀有语言、跨页文档等场景现在也有了可用的解决方案。当然从CHAOS-Bench的结果来看让模型完全按照图片上写的是什么来输出而不是它认为应该是什么这个问题还没有得到很好的解决这也许是下一代模型需要重点攻克的方向。研究团队在论文中也提到了未来工作的几个方向进一步压缩高分辨率图像的视觉词元冗余把Agentic Data Flow推向数据与模型持续共同进化的闭环以及提升长文档和视觉复杂场景下的生成可靠性。如果你对这项研究的具体技术细节感兴趣可以通过arXiv编号2607.04884查阅完整论文模型权重也会在腾讯混元OCR的HuggingFace主页上开放下载供研究者复现、微调和扩展使用。QAQ1HunyuanOCR-1.5的DFlash推测解码是怎么加速文字识别的ADFlash的原理类似草稿审核流程一个小型草稿模型一次性预测接下来的16个词元主模型批量验证这些预测并接受连续正确的部分。由于OCR输出如表格HTML、公式LaTeX结构规律性强草稿预测准确率高每次主模型计算能推进的词元数量远超传统逐字生成最终在vLLM框架下实现了2.14倍加速Transformers框架下实现了6.37倍加速。Q2Agentic Data Flow和传统数据收集方式有什么区别A传统方式需要工程师手动搜集材料、编写清洗脚本、设计生成流程耗时耗力。Agentic Data Flow让AI智能体承担大部分繁琐工作工程师只需用自然语言描述目标如生成低资源语言识别数据智能体自动调用网络搜索、OCR服务、图片清洗工具等完成材料收集、质量验证和数据生成脚本开发工程师只负责检查中间结果并提出修改意见整体效率大幅提升。Q3CHAOS-Bench测试的幻觉问题在OCR领域具体指什么AOCR幻觉是指模型没有忠实转录图片里实际存在的文字而是根据语言习惯补脑出它认为应该有的内容。CHAOS-Bench通过故意在图片中把某些词的一个字符替换成无意义字符来测试这一点——如果模型输出里保留了这个乱码词说明它真的在读图如果模型把乱码词替换成了正常词就说明产生了幻觉。HunyuanOCR-1.5在这项测试中得分14.15在参与对比的模型里最高但绝对值仍偏低说明这个问题对当前所有OCR模型来说都还是难题。