Adaptive Blockwise Search: Inference-Time Alignment for Large Language Models

发布时间:2026/7/10 22:52:38
Adaptive Blockwise Search: Inference-Time Alignment for Large Language Models 一、文章主要内容总结该研究聚焦大型语言模型(LLM)推理时的对齐问题,提出了一种全新的推理时对齐范式——自适应块搜索(ADASEARCH),核心思路是通过非均匀分配计算资源,优先关注响应生成的初始关键阶段,以提升对齐质量。1. 研究背景与问题LLM对齐是高风险应用中的关键挑战,现有方法分为两类:微调类(如RLHF、DPO):计算成本高,生成静态模型,缺乏灵活性;推理时对齐类(如Best-of-N、束搜索):均匀分配计算资源,未考虑不同token块对对齐目标的重要性差异,导致效果欠佳。核心发现:多数对齐任务中,响应的初始token块对确立正确生成轨迹至关重要,早期错误难以通过后续优化弥补(实验验证Decay策略优于Uniform和Growth策略)。2. 核心方法ADASEARCH:基于块级生成的搜索策略,通过采样调度表α分配固定计算预算,对初始token块生成更多候选样本,后续块逐步减少采样数量,确保总计算成本与基线一致。支持三种调度模式:Decay(指数/线性/二次衰减):优先初始块;Uniform:均匀分配(等同于传统Blockwise Best-of-N);Growth:优先后续块。ADABEAM