一项关于自然语言分词是否存在内禀临界点以及该点是否最优的可证伪研究。含 n-gram 统计分析中/英与线性 SSM 语言模型FRSMASH v3.6~8M 参数双语验证。摘要本文把临界分词critical tokenization这一理论假设拆解为一组可证伪命题在真实文本上分两阶段检验。第一阶段用 n-gram 与统计物理量Zipf 指数 α、互信息幂律衰减 γ、最小描述长度 MDL刻画分词器的临界结构我们发现 (i) 中英文均存在使 α 精确逼近 1.0 的特定词表 V*英 V*1501, α0.9998中 V*3240, α1.0014(ii) token 序列的互信息呈幂律衰减幂律拟合 R² 显著优于指数且打乱序列后幂律消失——满足统计物理的临界判据(iii) 但MDL 最小值 临界点的强主张被证伪最小值总落在最大词表临界点实为压缩收益递减的拐点。第二阶段用容量匹配的神经 LM~8M 参数等步数训练跨 5 组分词器测量验证集 bits-per-char (BPC)英文 BPE 家族在 α∈[0.91,1.09] 内 BPC 仅差 1.4%宽平台非尖锐最优而中文的字符级α≈1.05内禀构词单元在等算力与等信息两个轴上双双最优。第三阶段直接检验框架动态分词器优于静态的主张在同等算力下无论是静态数据上的词表课程还是域漂移下的自适应重合并动态切换分词器都比固定分词器更差——切换扰动压过适应收益最简形态的动态静态被证伪。综合得到一个比临界即最优更准确的可操作结论分词器最优性是算力—信息双轴权衡α≈1 是横跨双轴的稳健平衡点落在语言的内禀构词单元上而当下可证最优的实践是预训前用 α≈1 定好词表、贯穿训练全程。关键词分词、Zipf 律、临界态、长程相关、最小描述长度、状态空间模型、双语对照1 引言主流大语言模型LLM采用静态、预训练好的分词器BPE/WordPiece分词与模型训练彼此独立。近期有理论假设认为自然语言处于某种临界态存在一个使分词器统计特性分形维 D、Zipf 指数 α≈1对齐语言内禀临界的临界分词且该分词能最小化总描述长度、加速 Grokking、甚至改写 SFT/RLHF 范式。这类主张多数停留在叙事层面缺乏可证伪、可复现的检验。本文不预设其真伪而是把框架拆成 9 条命题表 1用两阶段实验逐一裁决。核心问题三连分词器是否存在可测的临界结构α≈1长程幂律相关该临界点是否是压缩/学习的最优点结论是否跨语言普适2 理论框架与可证伪命题设原始字符序列x∈X∗x\in\mathcal{X}^*x∈X∗分词器TTT将其映射为 token 序列zT(x)zT(x)zT(x)。框架提出总描述长度LtotalEx[−log2pθ(T(x))]⏟L(z): LM 编码代价β1∣V∣log2∣Vbase∣⏟L(T): 词表代价β2Δcritic⏟临界正则 \mathcal{L}_{\text{total}}\underbrace{\mathbb{E}_x[-\log_2 p_\theta(T(x))]}_{L(z):\ \text{LM 编码代价}}\underbrace{\beta_1|V|\log_2|V_{\text{base}}|}_{L(T):\ \text{词表代价}}\underbrace{\beta_2\Delta_{\text{critic}}}_{\text{临界正则}}LtotalL(z):LM编码代价Ex[−log2pθ(T(x))]L(T):词表代价β1∣V∣log2∣Vbase∣临界正则β2Δcritic其中ΔcriticλD∣DT−Dlang∣λα∣αT−1∣\Delta_{\text{critic}}\lambda_D|D_T-D_{\text{lang}}|\lambda_\alpha|\alpha_T-1|ΔcriticλD∣DT−Dlang∣λα∣αT−1∣。我们将其分解为表 1 的命题。表 1 九条命题与裁决汇总✅证实 / 部分 / ❌证伪 / ⛔未及#命题阶段裁决P1存在 V* 使 α_T 精确≈1Zipf 临界吸引子统计✅P2token 序列处于临界态幂律长程相关统计✅P3D_T分形维有意义且区分分词器统计❌需修正P4MDL 总描述长度在临界点取最小统计❌P5BPE 比字符/词级更接近临界统计✅P6临界性跨语言普适统计✅带反转P7静态分词次优→需联合训练间接统计P8临界分词省 15–20% bitsLLM语言依赖P9临界分词 Grokking 更快LLM弱信号P10动态/联合分词 固定分词等算力LLM❌最简形态被证伪3 方法3.1 语料英文Project Gutenberg 拼接Alice / Moby Dick / Tale of Two Cities 等统计阶段 1.1M 字符LLM 阶段 18M 训练 1M 验证字符。中文minimind_data/pretrain_t2t_mini.jsonl统计阶段 0.7M 字符LLM 阶段 18M 训练 1M 验证字符。所有分词器无损decode(encode(x))xdecode(encode(x))xdecode(encode(x))x故残余损失Lres0L_{res}0Lres0隔离分词器本身的影响。3.2 分词器Char每字符一个 token中文即汉字。Word词表为预分词后的词单元 UNK。BPE自实现 GPT-2 风格 char-BPE采用增量 pair-counting仅更新受影响词训练加速 15–27×。Byte仅中文 LLMUTF-8 字节V257。3.3 度量统计阶段Zipf 指数 αtoken 秩-频 log-log 回归斜率拟合于累计质量 95% 内。互信息幂律衰减 γI(d)∼d−γI(d)\sim d^{-\gamma}I(d)∼d−γddd为 token 距离。幂律拟合 R² 与指数拟合 R² 比较打乱基线保留频率、破坏顺序作为对照。Higuchi 分形维 D作用于 token 频率-秩序列。BPCn-gram插值三阶 单阶交叉熵 / chars-per-token。MDLL(z)βL(T)L(z)\beta L(T)L(z)βL(T)β∈{0.02,0.05,0.1,0.2}\beta\in\{0.02,0.05,0.1,0.2\}β∈{0.02,0.05,0.1,0.2}。3.4 神经语言模型LLM 阶段架构FRSMASH v3.6——多槽 F-layerSSMfla HGRN 线性 SlowMemory GLA 召回分支fla chunk_glaO(T) 复杂度。容量匹配4 层按词表微调 hidden 维度把总参数拉平到 7.3–8.9M消除 embedding 参数差异。训练每组同样 1000 步等算力/等 tokenseq512, batch32, AdamW(lr5e-4, β(0.9,0.95)) cosine, bf16, grad-clip1.0。RTX 4090。公平双轴同时报告 (A) 等算力等 1000 步final BPC(B) 等信息量BPC 同 15M 字符曝光。4 统计阶段结果4.1 命题 P1α≈1 的临界吸引子✅ 证实词表扫描中α 单调漂移并精确穿过 1.0表 2 英文 BPE 词表扫描V*1501, α0.9998V20170110011501200140016942α0.9250.9590.9641.0001.0231.0661.075γ0.6230.2600.2170.1830.1660.1360.118cpt1.461.771.841.911.962.072.15表 3 中文扫描V*3240字符级, α1.0014其上 BPE 合并使 α 跌至 0.82–0.85V3240(char)4001500162016801α1.0010.8220.8290.8390.848γ0.1600.0740.0540.0440.041cpt1.001.251.371.441.47跨语言反转英文的 α≈1 由 BPE 把字符合并到 V≈1500 达成中文的 α≈1 由汉字本身达成在字之上继续合并反而把 α 推离 1.0。临界点落在他语言的内禀构词单元上。4.2 命题 P2临界态幂律长程相关✅ 证实V* 处的互信息衰减幂律拟合 R² 显著优于指数打乱序列后 γ 坍塌至 ≈0表 4 临界性检验γ_power 幂律衰减指数γ_shuffled 打乱基线语言幂律 R²指数 R²γ_powerγ_shuffled英文0.7770.4950.183−0.002中文0.8260.5200.1600.0004打乱基线证明 γ 测的是真实序列结构长程相关而非频率分布的副产物——满足统计物理的临界判据尺度无关的幂律相关。图见results/criticality_{en,cn}.png。4.3 命题 P3分形维 D❌ 需修正定义Higuchi 维数对所有分词器落在 0.98–1.01几乎无区分力表 5。分形维本质是连续状态空间概念直接套到离散 token 序列信息量低。建议临界性应以 γ互信息幂律衰减为主诊断量。表 5 分词器类型对比英文VαγHiguchi Dcptchar910.9081.2271.0071.00word72161.2970.3500.9991.68bpe(V*)15021.0010.1831.0091.914.4 命题 P5/P6BPE 最接近临界 跨语言普适✅BPE(V*) 精确命中 α1.001 且 γ 最低0.183最尺度无关/最临界。中文对照同样成立char α1.002 vs word α1.148。图见results/tokcompare_{en,cn}.png。4.5 命题 P4MDL 最小 临界点❌ 证伪LtotalL(z)βL(T)\mathcal{L}_{total}L(z)\beta L(T)LtotalL(z)βL(T)在所有β 下最小值都落在最大词表英 6942 / 中 6801不在 V*。原因词表代价L(T)∣V∣log2∣Vbase∣L(T)|V|\log_2|V_{\text{base}}|L(T)∣V∣log2∣Vbase∣摊到每字符极小英 6942 仅 0.45 bit/char压不过压缩的持续收益。但V* 落在压缩收益递减的拐点上英70% 压缩量于 V≈2001 捕获紧邻 V*1501中拐点 V≈4501。→ 临界点 ≠ MDL 绝对最小而 ≈ 边际收益前沿。图见results/mdl_{en,cn}.png。5 神经语言模型阶段结果命题 P8/P95.1 英文BPE 家族的内点扫描5 组同族分词器α 单调 0.91→1.09V*bpe1500 为内点容量匹配 7.4–8.9M 参数等 1000 步表 6 英文 LLM 结果分词器αcpt参数等算力 BPC等信息 BPC15M字char0.9391.007.44M1.91471.9252bpe5000.9141.757.62M1.79631.9337bpe1500 (V*)0.9982.008.13M1.78331.9390bpe30001.0572.128.90M1.77171.9509bpe60001.0932.228.36M1.79651.9717等算力浅 U最优 α≈1.06BPE 家族挤在 1.772–1.797跨度仅 1.4%。等信息排序反转——越细的分词器信息效率越高每字符给模型更多递推步。α≈1 是宽平台非尖锐最优char→BPE 改善约 7.5%不到声称的 15–20%。5.2 中文char 为 α 内点的双轴通吃5 组byte/char/bpe8000-12000char(α1.05) 在粒度上是内点byte 更细 α0.71bpe 更粗 α0.86-0.88表 7 中文 LLM 结果分词器αcpt参数等算力 BPC等信息 BPC15M字byte0.7130.377.49M5.94395.9439*char1.0461.008.62M4.77334.8029bpe80000.8551.507.28M4.87455.1088bpe100000.8691.588.05M4.88595.1610bpe120000.8821.638.81M4.88495.1543* byte 因 cpt0.371000 步仅见 6.1M 字到不了 15M。中文 charα≈1在两个轴上都是最优——与英文相反。char→byte 改善~24%落在原声称的 15–20% 区间char→bpe 改善 ~2.3%。样本效率弱 Grokking 信号char 达 BPC5.0 仅需 ~9.8M 字符bpe8000 需 ~17M 字符——临界分词器每字符收敛更快。5.3 双语对照的核心发现表 8 双语对照英文中文临界单位BPE 子词 (bpe1500)汉字本身等算力最优bpe3000 (α1.06)char (α1.05)等信息最优char / bpe500细char临界是否尖锐最优否宽平台 1.4%是双轴通吃差异根源英文无原子单位BPE 在 α≈1 处好但更粗的 BPE 因等算力下多看字符而占优汉字本身既是 α≈1 又是语义原子单位故 char 双轴通吃。5.4 命题 P10动态/联合分词❌ 最简形态被证伪把框架动态分词器优于静态做成可证伪实验所有条件共用 V_MAX6001 embedding消除 embedding 手术靠restrict_to保持 master ID 一致来中途切换分词器。同等 1000 步算力。表 9 动态分词实验lowerbetter条件final BPC说明TEST 1静态数据static_full1.7731全程 fullstatic_1500 (V*)1.8013static_5001.8138curriculum1.8569最差500→1500→3000→full 各 250 步TEST 2域漂移 A→B最终 B 集 BPCoracle1.8093full 贯穿frozen1.84681500 贯穿 A→Bdynamic1.9085最差A 用 1500边界扩 fullTEST 1课程式扩词表最差——把预算劈成 4 段、每段换分词模型每次切换都要重学不如一开始就用最终分词训满。TEST 2A→B 边界切换分词器比冻结更差dynamic 1.909 frozen 1.847。新增 ~4500 个 embedding 行随机未训400 步内来不及学——切换扰动 适应收益。两种情况都是oracle一开始选对词表、贯穿全程最优。裁决在最简形态中途硬切词表、8M/1000步规模、温和漂移下动态/联合分词被证伪。框架要 salvage 它须证明可微/渐进式版本能消除切换扰动——这是明确的下一步技术目标。详见llm_verify/DYN_VERIFICATION_REPORT.md图dyn_runs/dyn_results.png。6 讨论双轴权衡是真正的机理两阶段实验共同指向一个比临界即最优更准确的机理模型。固定容量 LM 的 BPC 同时受两个相反力驱动压缩轴粗分词器 cpt 高等算力等 token下模型看到更多字符 → BPC 低英文等算力最优为 bpe3000。递推轴细分词器 cpt 低等信息等字符下模型每字符做更多递推步 → BPC 低英文等信息最优为 char。二者方向相反α≈1 恰是两轴的交汇平衡点。这解释了为何实践中 BPE~数千词表普遍好用它处于双轴平衡区而非某个尖锐最优。中文的例外恰恰印证当 α≈1 的单位同时是语义原子单位汉字双轴权衡退化为单点支配临界点即最优。对框架的四度修正D_T → γ分形维对符号序列失效应以互信息幂律衰减为临界主诊断量。MDL 最小 → 拐点临界点是压缩边际收益前沿非绝对最小。临界最优 → 双轴平衡最优性是算力—信息权衡非单点。动态 静态 → 被证伪最简形态中途硬切词表的切换扰动压过适应收益当下可证最优是预训前用 α≈1 定好词表、贯穿全程oracle 总赢。7 局限神经阶段为8M 参数 / 1000 步的欠训练小模型尖锐最优可能在更大规模/更长训练下显现或更不显现。“15–20%”Grokking 加速作为普适强效应未能在此规模证实。仅英/中两语日韩等混合书写系统、形态丰富语言未涉及。动态分词实验证伪的是最简形态中途硬切词表、温和漂移框架更强的可微/渐进式动态分词未实现检验——若要 salvage须证明其能消除切换扰动。SFT/RLHF 阶段的临界对齐框架 A2完全未触及。单次训练无种子重复BPE 家族 1.4% 的差距接近该规模的噪声需多种子确认显著性。8 结论我们把临界分词从理论叙事钉死在可证伪锚点上✅α≈1 是稳健的好分词区域且满足统计物理的临界判据幂律长程相关打乱后消失落在语言的内禀构词单元上英子词中字。⚠️是否尖锐最优语言依赖中文 char 双轴最优强支持英文是宽平台弱支持。真正机理是算力—信息双轴权衡α≈1 是平衡点这比临界最优更准、更可指导分词器实践。❌动态/联合分词最简形态被证伪切换扰动 适应收益当下最优是预训前定好词表、贯穿全程。❌ 被下调/证伪分形维 D 作诊断量、MDL 最小临界点、15–20% 普适效率、普适 Grokking 加速。三条被证伪的命题D、MDL-最小、动态静态恰恰是本工作作为科学而非玄学的资格证明。附录 A 复现# 统计阶段Python 3.14 numpy/scipy/matplotlibcdcritical_tokenization python run_all.py# ~25s, 8 图 summary.json# LLM 阶段F:\rwkv\.venv, torchfla, RTX 4090cdcritical_tokenization/llm_verify python build_caches.py enpython train_compare.py en python build_caches.py cnpython train_compare.py cn# 补 cn 的 bpe10000见 train_compare 注释python analyze.py en# 用 Python3.14 出图python analyze.py cn# 第三阶段动态分词验证python dyn_experiment.py# F:\rwkv\.venv, ~5 分钟python analyze_dyn.py# Python3.14 出图附录 B 图表索引图路径词表扫描中/英results/sweep_{en,cn}.png临界性 MI 衰减results/criticality_{en,cn}.pngMDL 权衡results/mdl_{en,cn}.png分词器类型对比results/tokcompare_{en,cn}.pngLLM BPC 曲线llm_verify/runs_{en,cn}/bpc_curves_*.pngLLM BPC-vs-αllm_verify/runs_{en,cn}/bpc_vs_alpha_*.png动态分词实验llm_verify/dyn_runs/dyn_results.png附录 C 代码模块文件作用critical_tokenization/corpus.py语料加载/切分中英critical_tokenization/tokenizers.pyChar/Word/BPE增量训练 restrict_to任意子集critical_tokenization/metrics.pyα, γ, Higuchi D, n-gram BPC, MDLcritical_tokenization/experiments.py统计阶段 4 组实验critical_tokenization/llm_verify/common.pyByte 分词、参数拉平、模型构建critical_tokenization/llm_verify/build_caches.py分词器 token 缓存双语critical_tokenization/llm_verify/train_compare.py容量匹配 LM 训练 BPC 日志critical_tokenization/llm_verify/analyze.py双轴 BPC 分析与作图critical_tokenization/llm_verify/dyn_experiment.py动态分词实验课程 域漂移critical_tokenization/llm_verify/analyze_dyn.py动态实验作图模型FRSMASH v3.6SSM 线性注意力fla 加速 · 硬件NVIDIA RTX 4090 D (24GB) · 框架PyTorch 2.12 CUDA 12.6
