RCScore: Quantifying Response Consistency in Large Language Models

发布时间:2026/7/15 19:45:21
RCScore: Quantifying Response Consistency in Large Language Models 一、文章主要内容总结该研究针对现有大语言模型(LLMs)评估过度依赖单一指令模板、忽视模型对指令风格敏感性的问题,提出了多维度评估框架RCScore,核心围绕“指令风格如何影响模型响应一致性与任务准确性”展开系统研究:研究背景:现有LLM评估多依赖准确率、F1分数等传统指标,或采用LLM自评估范式,存在评估片面、客观性不足、未考虑指令风格影响等缺陷。而已有研究表明,指令的表述方式(如句式、措辞)会显著影响模型性能,单一模板评估无法反映模型真实鲁棒性。实验设计:选取4个推理类基准数据集(AIME 2024、GSM8K、MATH-500、GPQA-Diamond),覆盖数学、科学等不同复杂度任务;纳入10个开源指令微调LLM(含Gemma 3、Qwen 2.5、Llama 3三大系列,参数规模3B-72B);设计4种语义一致但风格不同的指令模板(陈述式、疑问式、感叹式、祈使式),控制词汇复杂度确保无语义偏移;采用束搜索(temperature=1.0)和贪心搜索(temperature=0.0)两种解码策略。核心框架RCScore:从三个维度量化模型响应一致性:结构性(Structurality):通过依存句法分析衡量句法模式相似度;