L0C Buffer到Unified Buffer双目标模式【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkitL0C Buffer到Unified Buffer双目标模式用于将同一AI Core内L0C Buffer的矩阵结果拆分后同时写入两个Vector Core各自的Unified Buffer。一个AI Core内包含一个Cube Core和两个Vector Core启用双目标模式后源矩阵会按指定维度拆分为两部分前半部分写入SUB BLOCK0后半部分写入SUB BLOCK1。Tensor API通过CopyL0C2UBTrait::dualDstCtl控制双目标模式。dualDstCtl取值如下取值说明DUAL_DST_DISABLE单目标模式。整个矩阵写入默认目标Unified Buffer。DUAL_DST_SPLIT_M双目标模式按M维度拆分。源矩阵拆分为两个形状为M / 2 * N的矩阵分别写入两个Unified Buffer。DUAL_DST_SPLIT_N双目标模式按N维度拆分。源矩阵拆分为两个形状为M * N / 2的矩阵分别写入两个Unified Buffer。使用示例constexpr CopyL0C2UBTrait l0c2ubTrait { RoundMode::DEFAULT, false, false, DUAL_DST_SPLIT_M }; struct CopyL0C2UBTraitCustom { using TraitType CopyL0C2UBTrait; static constexpr const TraitType value l0c2ubTrait; }; FixpipeParams params; auto atom MakeCopy(CopyL0C2UB{}, CopyL0C2UBTraitCustom{}).with(params); Copy(atom, ub, l0c);NZ2NZ双目标模式在NZ2NZ搬运场景下双目标模式支持按M维度拆分和按N维度拆分。结合底层搬运接口说明如下N方向切分示例nSize 32表示源NZ矩阵中待搬运矩阵在N方向上的大小为32个元素。mSize 48表示源NZ矩阵中待搬运矩阵在M方向上的大小为48个元素。srcStride 64表示源NZ矩阵中相邻Z排布的起始地址偏移为64 * C0_SIZE。dstStride 64 * C0表示目的NZ矩阵中相邻Z排布的起始地址偏移为64 * 16个元素。M方向切分示例nSize 32表示源NZ矩阵中待搬运矩阵在N方向上的大小为32个元素。mSize 24表示每个目标Unified Buffer接收的M方向大小源矩阵M方向总大小为48个元素。srcStride 64表示源NZ矩阵中相邻Z排布的起始地址偏移为64 * C0_SIZE。dstStride 40 * C0表示目的NZ矩阵中相邻Z排布的起始地址偏移为40 * 16个元素。图1NZ2NZ双目标搬运模式设置示意图NZ2ND双目标模式在NZ2ND搬运场景下双目标模式也支持按M维度拆分和按N维度拆分。结合底层搬运接口说明如下ndNum 2表示源NZ矩阵的数目为2。nSize 32表示源NZ矩阵在N方向上的大小为32个元素。mSize 48表示源NZ矩阵在M方向上的大小为48个元素。srcStride 64表示源NZ矩阵中相邻Z排布的起始地址偏移为64 * C0_SIZE。dstStride 64表示目的ND矩阵每一行中的元素个数为64。srcNdStride 240表示不同NZ矩阵起始地址之间的间隔为240 * C0_SIZE。dstNdStride 4096表示目的相邻ND矩阵起始地址之间的偏移为4096个元素。图2NZ2ND双目标搬运模式设置示意图约束说明双目标模式仅支持L0C Buffer到Unified Buffer通路。双目标模式支持普通搬运模式NZ2NZ和NZ2ND搬运场景。按M维度拆分时M必须为2的倍数。按N维度拆分时N必须为32的倍数。【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考