Bridging Human and Model Perspectives: A Comparative Analysis of Political Bias Detection in News...

发布时间:2026/8/7 12:35:05
Bridging Human and Model Perspectives: A Comparative Analysis of Political Bias Detection in News... 文章主要内容与创新点总结一、主要内容本文聚焦新闻媒体中政治偏见检测,核心探讨大型语言模型(LLMs)与人类判断的一致性问题。研究以2023年10月-2024年1月期间巴以冲突相关的FIGNEWS 2024数据集为基础,该数据集包含英、阿、法等五种语言的新闻标题和脸书帖子(均统一为英文分析),经预处理后得到约15000个样本,涵盖7类偏见标签(无偏见、对巴勒斯坦有偏见、对以色列有偏见等)。研究构建了多模型对比框架,涵盖BERT、RoBERTa、XLM-R、FLAN-T5、GPT-5等不同架构模型,在零样本、指南条件、少样本三种提示策略下开展实验,并通过人工标注(标注者一致性κ值为0.65-0.68)作为基准进行对比。实验结果显示:微调后的RoBERTa模型在有监督场景下表现最佳(宏观F1值0.774),GPT类生成模型在零样本场景下与人类标注一致性最强(κ=0.338);但所有模型均存在局限性,主要依赖词汇情感和实体关联线索判断偏见,难以处理隐含偏见、多主体叙事及引语与作者立场区分等复杂场景,而人类标注则更依赖语境框架、话语结构和语用推理。二、创新点构建人工标注偏见语料库:采用多步骤标注流程及分歧解决机制,生成可解释、编码一致的基准数据集,为人类与模型的偏见感知一致性研究提供可靠基础。提出统一评估框架:首次在零样本、指南条件、少样本三种提示配置下,跨BERT、RoBERTa、GPT等多模型家族进行对比,分离了模型架构与推理策略对偏见分类的影响。