PEFT-FACTORY 文章总结与翻译一、主要内容总结1. 研究背景随着大型语言模型（LLMs）参数规模持续扩大，全量微调面临计算成本高、数据需求大、可访问性低等问题。参数高效微调（PEFT）方法通过仅训练模型少量参数即可达到接近全量微调的性能，已成为热门研究方向。但当前PEFT领域存在诸多痛点：新方法难以复现和部署、不同方法间缺乏公平对比基准、多数框架仅支持有限PEFT方法（以LoRA变体为主）、缺乏对分类任务的支持等。2. 核心解决方案：PEFT-FACTORY 框架PEFT-FACTORY 是基于 LLaMA-Factory 开发的模块化、可扩展框架，专为自回归大模型的参数高效微调与评估设计。其核心组件包括：PEFT方法：原生支持19种PEFT方法，涵盖重参数化、软提示、适配器、选择性微调四类，同时支持动态加载自定义方法及集成HuggingFace PEFT、Adapters等主流库的现成方法。数据集：包含27个数据集，覆盖12类任务，既支持文本生成任务，也新增分类任务支持（适配GLUE、SuperGLUE等基准数据集），并允许添加任务专属指令。模型：兼容0.5B到671B参数的多种模型家族（如Llama-3.2-1B-Instruct、Qwen 2.5、DeepSeek R1等）。