Kimi-K2-Thinking-MXFP4-AttnFP8AMD硬件优化的高效推理模型完全指南【免费下载链接】Kimi-K2-Thinking-MXFP4-AttnFP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2-Thinking-MXFP4-AttnFP8Kimi-K2-Thinking-MXFP4-AttnFP8是基于Kimi-K2-Thinking模型优化的AMD硬件专用版本通过MXFP4和FP8量化技术实现高效推理特别针对AMD MI350/MI355等高端AI加速卡进行深度优化在保持98.71%精度恢复率的同时显著提升计算效率。 模型核心优势解析专为AMD硬件打造的性能优化该模型采用AMD-Quark量化工具V0.11.2版本进行深度优化针对ROCm 7.0环境和AMD MI350/MI355微架构特点实现了MoE混合专家模型层MXFP4量化和自注意力层FP8量化的创新组合完美发挥AMD GPU的计算潜能。突破性的量化技术组合权重量化MoE层采用OCP MXFP4静态量化自注意力层采用Perchannel FP8E4M3静态量化激活量化MoE层采用OCP MXFP4动态量化自注意力层采用Pertoken FP8E4M3动态量化量化校准基于Pile数据集进行精准校准确保量化过程中的精度损失最小化 性能表现与精度评估GSM8K基准测试结果在数学推理能力测试中该模型展现了优异的精度保持能力基准测试原始模型MXFP4-AttnFP8优化模型精度恢复率GSM8K (flexible-extract)94.16%92.95%98.71%这意味着在获得显著性能提升的同时模型仅损失了1.29%的推理精度实现了效率与准确性的完美平衡。⚙️ 快速部署指南环境准备要求操作系统LinuxROCm版本7.0Transformers版本4.57.6推理引擎vLLM推荐最新版本硬件要求AMD MI350/MI355 GPU一键启动vLLM服务git clone https://gitcode.com/hf_mirrors/amd/Kimi-K2-Thinking-MXFP4-AttnFP8 cd Kimi-K2-Thinking-MXFP4-AttnFP8 export VLLM_ATTENTION_BACKENDTRITON_MLA export VLLM_ROCM_USE_AITER1 export VLLM_ROCM_USE_AITER_FUSION_SHARED_EXPERTS0 vllm serve . \ --tensor-parallel-size 8 \ --enable-auto-tool-choice \ --tool-call-parser kimi_k2 \ --reasoning-parser kimi_k2 \ --trust-remote-code模型评估方法在新终端中执行以下命令进行GSM8K基准测试lm_eval \ --model local-completions \ --model_args model.,base_urlhttp://0.0.0.0:8000/v1/completions,tokenized_requestsFalse,tokenizer_backendNone,num_concurrent32 \ --tasks gsm8k \ --num_fewshot 5 \ --batch_size 1 模型架构详解DeepseekV3架构基础该模型基于DeepseekV3ForCausalLM架构构建核心参数包括隐藏层维度7168注意力头数64隐藏层数量61中间层维度18432最大上下文长度262144 tokens词汇表大小163840创新的MoE结构设计模型采用了384个路由专家routed experts和1个共享专家shared experts的混合专家设计每token选择8个专家进行计算结合KV LoRA秩512和Q LoRA秩1536技术在保持模型容量的同时优化计算效率。 高级量化配置量化配置存储在config.json文件中核心参数包括量化方法quark全局量化配置MXFP4每组32动态输入/静态权重自注意力层量化FP8E4M3每通道量化动态输入/静态权重排除量化层lm_head及部分mlp层如model.layers.0.mlp.down_proj等完整量化脚本参考cd Quark/examples/torch/language_modeling/llm_ptq/ exclude_layers*mlp.gate *lm_head *mlp.gate_proj *mlp.up_proj *mlp.down_proj python quantize_quark.py \ --model_dir unsloth/Kimi-K2-Thinking-BF16 \ --quant_scheme mxfp4 \ --layer_quant_scheme *self_attn* ptpc_fp8 \ --exclude_layers $exclude_layers \ --output_dir amd/Kimi-K2-Thinking-MXFP4-AttnFP8 \ --file2file_quantization 许可证信息Modifications Copyright(c) 2025 Advanced Micro Devices, Inc. All rights reserved. 原始模型许可证信息参见LICENSE文件。该模型为研究和商业用途提供了灵活的授权选项详细条款请参阅许可证文件。 相关资源分词器配置tokenizer_config.json特殊 tokens 映射special_tokens_map.json量化工具AMD-Quark推理引擎vLLM【免费下载链接】Kimi-K2-Thinking-MXFP4-AttnFP8项目地址: https://ai.gitcode.com/hf_mirrors/amd/Kimi-K2-Thinking-MXFP4-AttnFP8创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
