在 DSpark-RWKV 的 Stage 1 合成任务框架下将HybridFRSM快线性递推 慢内容门控适配为DSpark 顺序头与NoHead / GRU / RWKV-7进行等参数量与等架构公平对比。1. 实验目标验证 HybridFRSM 作为 DSpark 半自回归推测解码的顺序头Sequential Head在 block 内多 token 预测任务上能否达到与 GRU/RWKV-7 同等或更高的 top-1 接受率在参数量严格对齐的前提下优势是否仍然成立排除靠堆参数取胜的疑问在需要同时记忆多个 key的更难任务上FRSM 的快慢尺度分离架构是否有结构性优势。2. 参考代码与来源组件来源说明DSpark-RWKV Stage 1 框架https://github.com/cgisky1980/dspark-rwkvstage1_experiment.py提供 NoHead / GruHead / Rwkv7HeadV2、数据生成、训练与评估run()原 DSpark (DeepSpec)https://github.com/deepseek-ai/DeepSpecDSpark 半自回归推测解码原始论文实现DeepSeek × 北京大学RWKV-7 参考https://github.com/BlinkDL/RWKV-LMRWKV-7 Delta Rule / DPLR 公式参考HybridFRSM 实现本地F:\OpenASH2605\frsm_linear.py快尺度 parallel scan 慢尺度内容门控的分形递归状态机本实验测试代码本地F:\dspark-rwkv\stage1_frsm_compare.pyFrsmHead 适配器 等参对比脚本完整源码见文末附录3. 实验环境Python 解释器F:\OpenASH\.venv\Scripts\python.exePython 3.13.3PyTorch2.12.0 cu130CUDA 可用GPU 运行操作系统Windows / PowerShell运行时设PYTHONIOENCODINGutf-8、python -u实时输出随机种子每个变体训练前torch.manual_seed(42)4. 方法4.1 顺序头接口所有头实现统一接口嵌入 DSpark 的Draft框架defforward_block(self,base_logits,prev_token_ids,hidden_states)-logits# base_logits: (B, T, V) 目标模型 lm_head 输出# prev_token_ids: (B, T) teacher forcing 的上一 token位置 k 用 tokens[k-1]# hidden_states: (B, T, H) 目标模型隐状态含 key 的弱信号 强噪声# 返回: base_logits bias4.2 FrsmHead 适配器设计HybridFRSM 原为序列处理器输入(B,T,D)特征 → 输出(B,T,D)通过FrsmHead适配为顺序头输入融合in_proj(hidden_states) token_emb(prev_token_ids)与 GRU/RWKV 同样利用上一 token 信息内部FRSM 快尺度 parallel scan全局线性递推O(log T) 训练 慢尺度内容门控每 K1 步更新一次选择性地将候选值写入长期状态输出w_out(feat) → vocab 维 bias叠加到base_logits。4.3 等参数量对齐策略关键GRU/RWKV 的 embedding 与w_out均走rank32维参数VOCAB*rank*2 ≈ 16K。若 FRSM 直接用DHID64做 embedding参数量会翻倍对比不公平。解决FrsmHead引入独立frsm_dim控制 FRSM 内部维度与 embedding 维度并加in_proj: DHID→frsm_dim配置frsm_dim参数量对标GRUrank3228,768—RWKV-7 (shiftLN)rank3241,632—HybridFRSM d323243,153≈ RWKV差 1.5K等参HybridFRSM d6464134,433上限参照frsm_dim32时 FRSM 与 RWKV-7 参数量几乎相同43.2K vs 41.6K构成严格等参数量对比。4.4 任务与超参VOCAB256, DHID64, RANK32, BLOCK8N_TRAINN_EVAL2000步LR3e-3batch256单 keyblock[k] (key k) % V只需记忆 1 个 key双 keyblock[0]a, block[1]b, block[k](abk) % V需同时记忆 2 个 key更难主干 hidden 含强噪声NOISE0.8 单key / 1.2 双keylm_head无法直接精确定位 key必须靠顺序头的递归状态。5. 实验结果5.1 单 key 任务简单全模型收敛头参数量平均接受率None(baseline)00.0382GRU(DSpark)28,7681.0000RWKV-7(shiftLN)41,6321.0000HybridFRSM(d32)43,1531.0000HybridFRSM(d64)134,4331.0000任务过简单所有递归头均达 100%无区分度。5.2 双 key 任务核心区分头参数量平均位置0位置1位置2位置3位置4位置5位置6位置7None00.03950.1170.1130.0150.0130.0130.0150.0130.015GRU28,7680.83490.9800.4490.2620.9891.0001.0001.0001.000RWKV-741,6320.83730.9460.3150.4770.9661.0000.9980.9990.999HybridFRSM(d32)43,1530.97090.9980.8550.9170.9991.0001.0001.0001.000HybridFRSM(d64)134,4331.00001.0001.0001.0001.0001.0001.0001.0001.0005.3 收敛动态双 key每 200 步步数GRURWKV-7FRSM d32FRSM d642000.6620.0750.7640.8326000.7590.6780.8470.99810000.7840.7470.8961.00020000.8380.8380.974仍上升1.0006. 关键发现6.1 等参数量下 FRSM 仍显著领先HybridFRSM(d32, 43.2K) ≈ RWKV-7(41.6K)参数量几乎相同但双 key 平均接受率0.971 vs 0.83713.4%。这排除了FRSM 靠参数多取胜的疑问证明优势来自架构本身。6.2 记忆瓶颈位置的结构性碾压需同时持有两个 key 的位置 1 / 位置 2 是真正考验顺序头记忆能力的瓶颈位置GRURWKV-7FRSM d32位置10.4490.3150.855位置20.2620.4770.917FRSM 在这两个位置大幅领先0.4~0.6 绝对值。这直接体现了慢尺度内容门控的选择性长期记忆能力——GRU 的标量门控和 RWKV-7 的 Delta Rule 矩阵状态在面对多 key 并行保持时均出现明显遗忘而 FRSM 的内容相关门控 MLP 能主动学习何时写入把第二个 key 稳定压入长期状态。6.3 收敛更快更稳FRSM d32 在 200 步即达 0.764RWKV 同期仅 0.075几乎未启动FRSM d64 在 800 步即收敛到 100%FRSM d32 在 2000 步末仍在上升0.974给足训练步数预计可逼近 1.0——潜力尚未榨干。6.4 快慢分离的收益确认FRSM 的设计哲学是快尺度负责即时预测无门控开销慢尺度负责选择性记忆只需 1 个。本实验中单慢尺度num_slow1即足够在双 key 上击败 GRU/RWKV验证了 frsm_linear.py 注释里快慢分离比纯门控快 4.7×、参数少 24%的设计动机在顺序头场景同样成立。7. 结论HybridFRSM 作为 DSpark 顺序头架构可行且领先在等参数量≈43K下双 key 接受率较 RWKV-7 高 13.4 个百分点。优势来源于快慢尺度分离的架构设计而非参数量慢尺度的内容门控是处理多 key 并行记忆的关键机制。收敛速度与稳定性均优于 GRU/RWKV-7在 200 步内即可建立显著领先。单 key 任务对所有递归头均过简单建议后续在更长 blockBLOCK16/32或多 key3任务上进一步拉开差距。8. 复现方式$env:PYTHONIOENCODINGutf-8F:\OpenASH\.venv\Scripts\python.exe-uF:\dspark-rwkv\stage1_frsm_compare.py依赖F:\OpenASH2605\frsm_linear.py脚本通过sys.path自动导入无需复制。附录完整测试代码stage1_frsm_compare.pyDSpark-RWKV Stage1 · HybridFRSM vs GRU / RWKV-7 顺序头对比 把 frsm_linear.py 的 HybridFRSM(快线性递推 慢内容门控)适配为 DSpark 顺序头, 在 stage1 合成任务(单 key / 双 key)上与 NoHead / GRU / RWKV-7 对比接受率与参数量。 顺序头接口: forward_block(base_logits, prev_token_ids, hidden_states) - logits importosimportsysimporttorchimporttorch.nnasnn sys.path.insert(0,os.path.dirname(os.path.abspath(__file__)))sys.path.insert(0,rF:\OpenASH2605)fromstage1_experimentimport(DEVICE,DHID,RANK,VOCAB,BLOCK,NoHead,GruHead,Rwkv7HeadV2,run,make_data_single,make_data_double,)fromfrsm_linearimportHybridFRSMclassFrsmHead(nn.Module):HybridFRSM 顺序头: 用 FRSM 状态机处理 hidden_states 序列, 输出 vocab 维 bias。 输入融合: in_proj(hidden_states) prev_token_emb (与 GRU/RWKV 同样利用上一 token)。 FRSM 内部: 快尺度 parallel scan (全局线性递推) 慢尺度内容门控 (每 K 步更新)。 参数量对齐说明: GRU/RWKV 的 embedding 与 w_out 均走 rank 维 (VOCAB*rank*2)。 本头用独立的 frsm_dim 控制 FRSM 内部维度与 embedding 维度, frsm_dimrank 时参数量与 RWKV 同级, 实现等参数量公平对比。 def__init__(self,vocab_size,rank,hidden_size,num_fast3,num_slow1,slow_update_freq1,frsm_dimNone):super().__init__()frsm_dimrankiffrsm_dimisNoneelsefrsm_dim self.token_embnn.Embedding(vocab_size,frsm_dim)self.in_projnn.Linear(hidden_size,frsm_dim)self.frsmHybridFRSM(d_modelfrsm_dim,num_fastnum_fast,num_slownum_slow,slow_update_freqslow_update_freq,)self.w_outnn.Linear(frsm_dim,vocab_size,biasFalse)defforward_block(self,base_logits,prev_token_ids,hidden_states):featself.in_proj(hidden_states)self.token_emb(prev_token_ids)outself.frsm(feat)biasself.w_out(out)returnbase_logitsbiasdefrun_task(task_name,make_data_fn):print(f\n{*60})print(f任务:{task_name})print(f{*60})train_datamake_data_fn(4096)variants[(None(baseline),lambda:NoHead(VOCAB,RANK,DHID)),(GRU(DSpark),lambda:GruHead(VOCAB,RANK,DHID)),(RWKV-7(shiftLN),lambda:Rwkv7HeadV2(VOCAB,RANK,DHID,use_shiftTrue,use_layernormTrue)),(HybridFRSM(d32,~43K),lambda:FrsmHead(VOCAB,RANK,DHID,num_fast3,num_slow1,slow_update_freq1,frsm_dim32)),(HybridFRSM(d64,~130K),lambda:FrsmHead(VOCAB,RANK,DHID,num_fast3,num_slow1,slow_update_freq1,frsm_dim64)),]results{}forname,factoryinvariants:torch.manual_seed(42)pos_rate,avgrun(name,factory,train_data)n_paramssum(p.numel()forpinfactory().parameters())results[name](pos_rate,avg,n_params)print(f\n---{task_name}汇总 ---)print(f{头:24}{平均:8}{参数:10}各位置)forname,(pos_rate,avg,n_params)inresults.items():print(f{name:24}{avg:.4f}{n_params:8,}{[f{r:.3f}forrinpos_rate]})returnresultsdefmain():print(fVOCAB{VOCAB}DHID{DHID}RANK{RANK}BLOCK{BLOCK}device{DEVICE})print(对比: None / GRU / RWKV-7 / HybridFRSM(d32,等参) / HybridFRSM(d64,上限))run_task(单 key: block[k](keyk)%V,lambdan:make_data_single(n))run_task(双 key: block[0]a,block[1]b,block[k](abk)%V,lambdan:make_data_double(n))if__name____main__:main()