高阶极限打磨【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit本节在中级性能优化的基础上介绍Matmul融合算子的高阶极限打磨方法。说明为更好展示VF融合的性能优化手段本章节以MatmulGelu融合算子作为讲解样例。GELU相比LeakyRelu计算逻辑更复杂能更充分地体现各类优化手段的效果。Matmul高阶优化手段Case优化手段说明Case 5MDL L1Cache优化手动调整Tiling参数充分利用L1缓存Case 6MDL L1Cache L2Cache分块计算适配L2Cache提高缓存命中率Case 7 Constants TilingTiling常量化减少运行时Scalar计算开销Case 8 UnitFlag细粒度流水同步MMAD与FIXPIPE流水并行Gelu高阶优化手段Case优化手段说明Case 2VF融合 循环展开#pragma unroll展开循环提高指令级并行度CV融合Scenario 2 — CV融合-UB直通在高阶极限打磨阶段CV融合层面提供Scenario 2方式仅Ascend 950PR支持。AIC侧通过Fixpipe将L0C计算结果直接写入UBAIV侧无需从GM读取数据直接在UB上进行GELU计算后将结果写回GM省去GM中转的读写开销。兼容性说明A2/A3芯片不支持Fixpipe直写UB请使用Scenario 1CV融合-GM中转方案。数据流路径GM ──(MTE2)── L1 ──(MTE1)── L0A/L0B ──(Cube)── L0C ──(Fixpipe)── UB ──(Gelu)── UB ──(MTE3)── GMAIC侧实现Fixpipe L0C → UB通过dualDstCtl0b01开启双目标模式按M维度拆分给2个AIVAscendC::FixpipeParamsArch3510AscendC::CO2Layout::ROW_MAJOR fixpipeParams; fixpipeParams.mSize AscendC::DivCeil(curM, 2) * 2; fixpipeParams.nSize curN; fixpipeParams.srcStride curMAlign; fixpipeParams.dstStride curN; fixpipeParams.dualDstCtl 0b01; // 按M维度拆分到2个AIV的UB AscendC::Fixpipefloat, float, CFG_ROW_MAJOR_UB(xUB, cLocal, fixpipeParams);AIV侧实现UB → GELU → geluOutUB → GM无需DataCopy GM→UB性能数据以Ascend 950PR芯片数据为例Scenario 2融合后总耗时2573.584μs相比Scenario 1的2606.91μs进一步减少约33μsScenario 2中aiv_mte2_time仅为0.005μs相比Scenario 1的57.145μs几乎降为零详细内容请参见MatmulGelu高阶极限打磨。【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考