“ 随着大语言模型LLMs在代码理解任务中的广泛应用自动化漏洞检测迎来了新的发展机遇。然而现有方法普遍存在两个关键问题模型依赖表层模式缺乏真实漏洞语义理解能力评测体系存在数据泄漏与分布偏差导致性能被高估。为解决上述问题论文提出SecureFalcon一个结合漏洞检测增强机制与严格评测体系的 LLM 安全分析框架。”论文标题SecureFalcon: Are We There Yet in Automated Software Vulnerability Detection with LLMs发表时间IEEE Transactions on Software Engineering‌, 2025作者单位阿尔及利亚盖尔玛大学、英国曼彻斯特大学等开源代码未开源。01—方法介绍下图是一个由于嵌套循环的性质和求和变量中的值的累积而发生算术溢出漏洞示例。由于嵌套循环需要仔细展开因此使用BMC验证此程序可能需要数小时。相比之下LLM可以快速查明此类问题有几个优势它们可以从大量代码和漏洞模式中学习使它们能够有效地泛化和识别错误。LLM还能够处理各种代码库并检测漏洞而无需BMC所需的大量手动设置。SecureFalcon 的核心思想是通过“检测框架 评测增强”双层设计既提升 LLM 漏洞检测能力又揭示其真实能力边界。整体流程可以概括为三步① 漏洞检测建模基于 LLM 对代码进行漏洞分类与判断② 输入增强与扰动构造语义等价或对抗样本③ 鲁棒性与泛化评估分析模型在真实场景中的稳定性。图1. SecureFalcon模型架构图2. SecureFalcon模型的性能评估步骤。小结不仅“让模型检测漏洞”更要“验证模型是否真的理解漏洞”。02—关键机制检测与评测一体化框架同时关注能力提升与能力验证。语义一致性测试通过等价变换检测模型是否真正理解代码。对抗鲁棒性评估系统分析 LLM 在安全任务中的稳定性。Benchmark 去偏设计避免数据泄漏导致的虚假高性能。模块设计思路作用LLM 漏洞检测器基于 Prompt 或微调进行漏洞识别实现基础检测能力语义保持扰动对代码进行等价变换重命名/重排检测模型是否依赖表层模式对抗样本生成构造干扰输入误导模型判断评估鲁棒性去偏 Benchmark消除数据泄漏与标签模式获得真实评测结果错误归因分析分析误报/漏报来源理解模型缺陷小结SecureFalcon 的关键在于“攻击模型 分析模型”而非单纯优化模型。03—实验结果实验使用2个数据集来验证方法的有效性包括FormAIhttps://github.com/FormAI-Dataset和FalconVulnDB公开数据集的组合即SySeVR、Draper VDISC、Bigvul、Diversevul、SARD Juliet和ReVeal。主要实验结果如下。1SecureFalcon与LLM、ML和DL模型的比较结果见表1。多分类SecureFalcon在两个数据集上都是0.92的最高准确度明显优于其他LLM模型如RoBERTa和BERT其精度约为0.70-0.85。二分类SecureFalcon在两个数据集上准确率分别为0.94和0.92。其他LLM模型如RoBERTa、BERT和CodeBERT在两个数据集上都达到了0.81到0.89的准确度。表1. SecureFalcon与LLM模型以及使用FormAI和FalconVulnDB数据集的传统机器学习的比较。2SecureFalcon与C/C漏洞检测工具的比较结果见表2。尽管SecureFalcon的推理时间比轻量级工具长但处理不同代码样本的准确性和灵活性证明了在需要彻底安全检测的场景中进行权衡是合理的。表2. SecureFalcon与C/C漏洞检测工具的比较小结SecureFalcon通过微调FalconLLM在二元分类和多分类中分别达到了94%和92%的准确率突显了其有效性。此外模型参数较小总共1.21亿个参数。 总结SecureFalcon 的核心价值在于首次系统性揭示了 LLM 在漏洞检测任务中的“能力幻觉”。论文表明仅依赖 LLM 本身难以实现可靠的漏洞检测必须结合更严格的评测体系与分析机制。未来研究方向包括语义增强型 LLM 模型、程序分析 LLM 融合方法。 欢迎留言讨论你认为 LLM 是否能真正“理解”漏洞未来漏洞检测是否需要回归传统程序分析 点赞 收藏 分享你的支持是我们持续解析高水平软件安全论文的最大动力