Qwen3.5-35B-A3B-MXFP4架构解密256专家混合MoE与线性注意力的创新融合【免费下载链接】Qwen3.5-35B-A3B-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-35B-A3B-MXFP4Qwen3.5-35B-A3B-MXFP4是一款基于混合专家MoE架构的先进语言模型由256个专家网络与创新的线性注意力机制融合而成。该模型通过AMD-Quark工具链实现MXFP4量化在保持高性能的同时显著降低计算资源需求特别优化支持AMD MI300/MI350系列显卡。核心架构创新MoE与线性注意力的完美结合256专家混合系统MoE的突破性设计Qwen3.5-35B-A3B-MXFP4采用256个专家网络的大规模混合架构每个输入token通过路由器动态选择8个最相关专家进行处理num_experts_per_tok: 8。这种设计使模型能够并行化专业知识不同专家专注于处理不同类型的任务和知识领域动态资源分配仅激活必要计算资源实现高效推理规模与效率平衡在35B参数量级下保持可部署性配置文件中明确定义了专家系统的核心参数num_experts: 256, num_experts_per_tok: 8, moe_intermediate_size: 512, shared_expert_intermediate_size: 512线性注意力与全注意力的智能交替机制模型创新性地采用线性注意力与全注意力交替的层级结构layer_types配置每4层线性注意力后插入1层全注意力layer_types: [ linear_attention, linear_attention, linear_attention, full_attention, // ... 共40层交替结构 ]这种设计带来双重优势长文本处理能力线性注意力将复杂度从O(n²)降至O(n)支持262144 tokens的超长上下文max_position_embeddings: 262144关键信息捕捉全注意力层确保重要语义关系不被遗漏线性注意力的核心配置参数linear_conv_kernel_dim: 4, linear_key_head_dim: 128, linear_num_key_heads: 16, linear_num_value_heads: 32MXFP4量化技术性能与效率的平衡艺术量化方案的精细实现Qwen3.5-35B-A3B-MXFP4采用AMD独有的MXFP4量化技术通过AMD-Quark工具链实现权重量化静态MXFP4量化dtype: fp4, is_dynamic: false激活量化动态MXFP4量化dtype: fp4, is_dynamic: true分组量化32元素为一组group_size: 32平衡精度与效率量化配置的核心定义位于config.json的quantization_config部分global_quant_config: { input_tensors: { dtype: fp4, is_dynamic: true, qscheme: per_group, group_size: 32 }, weight: { dtype: fp4, is_dynamic: false, qscheme: per_group, group_size: 32 } }量化排除策略关键层保护机制为确保模型关键功能不受量化影响配置中明确排除了特定层exclude: [ lm_head, model.visual.*, mtp.*, *mlp.gate, *shared_expert_gate*, *.linear_attn.*, *.self_attn.*, *.shared_expert.* ]这种选择性量化策略在量化脚本中得到进一步体现通过exclude_layers参数精确控制量化范围。性能评估超越基准的卓越表现GSM8K推理能力测试在GSM8K数学推理基准测试中Qwen3.5-35B-A3B-MXFP4表现出令人印象深刻的性能基准测试Qwen/Qwen3.5-35B-A3B-FP8amd/Qwen3.5-35B-A3B-MXFP4性能恢复率gsm8k (flexible-extract)89.3993.25104.32%数据来源README.md高效部署配置模型支持通过vLLM和SGLang进行高效部署推荐配置lm_eval \ --model vllm \ --model_args pretrainedamd/Qwen3.5-35B-A3B-MXFP4,tensor_parallel_size4,max_model_len262144,gpu_memory_utilization0.90 \ --tasks gsm8k --num_fewshot 5 \ --batch_size auto技术规格与环境要求硬件与软件兼容性Qwen3.5-35B-A3B-MXFP4针对AMD平台进行了深度优化支持显卡AMD MI300 MI350/MI355ROCm版本7.0.0PyTorch版本2.9.1Transformers版本5.3.0vLLM版本0.16.0rc2操作系统Linux模型文件结构模型采用分片存储策略共14个安全张量文件model.safetensors-00001-of-00014.safetensors至model.safetensors-00014-of-00014.safetensors索引文件model.safetensors.index.json快速开始从克隆到推理1. 克隆仓库git clone https://gitcode.com/hf_mirrors/amd/Qwen3.5-35B-A3B-MXFP4 cd Qwen3.5-35B-A3B-MXFP42. 安装依赖pip install transformers5.3.0 vllm0.16.0rc2 torch2.9.13. 启动vLLM服务python -m vllm.entrypoints.api_server \ --model ./ \ --tensor-parallel-size 4 \ --max-model-len 262144 \ --gpu-memory-utilization 0.90总结下一代语言模型的技术典范Qwen3.5-35B-A3B-MXFP4通过256专家混合架构、线性注意力机制与MXFP4量化技术的创新融合在性能、效率和部署灵活性方面树立了新标杆。其独特的设计理念为大规模语言模型的实用化提供了宝贵参考特别适合需要处理超长文本且对计算资源敏感的企业级应用场景。无论是学术研究还是工业部署这款模型都展示了AMD在AI领域的技术实力为开发者提供了一个兼顾性能与效率的强大工具。随着硬件与软件生态的不断完善Qwen3.5-35B-A3B-MXFP4有望在更多领域发挥其潜力推动自然语言处理技术的边界。【免费下载链接】Qwen3.5-35B-A3B-MXFP4项目地址: https://ai.gitcode.com/hf_mirrors/amd/Qwen3.5-35B-A3B-MXFP4创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考