L1或L0C与UB数据搬运【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit总体说明L1 Buffer/L0C Buffer与Unified Buffer之间的数据搬运提供了灵活的接口支持能够充分适配多样化的计算场景见表1。其中Unified Buffer-L1 Buffer的数据搬运用于矩阵计算参考矩阵计算的搬入L0C Buffer-Unified Buffer、L1 Buffer-Unified Buffer用于将矩阵计算结果搬出完成矩阵计算的输出流程参考矩阵计算的搬出。表 1L1 Buffer/L0C Buffer与Unified Buffer数据搬运接口概述数据通路功能描述Unified Buffer-L1 Buffer连续数据搬运(DataCopy)提供基础的数据搬运能力数据在传输过程中保持原始格式和内容不变支持连续数据搬运。Unified Buffer-L1 Buffer高维切分数据搬运(DataCopy)提供基础的数据搬运能力数据在传输过程中保持原始格式和内容不变支持连续和非连续的数据搬运。Unified Buffer-L1 Buffer随路转换-ND2NZ搬运(DataCopy)支持在数据搬运时进行ND到NZ格式的转换。Unified Buffer-L1 Buffer非对齐数据搬运(DataCopyPad)支持数据非对齐搬运可以根据开发者的需要自行填充数据。L0C Buffer-Unified Buffer随路转换与量化(DataCopy)支持多种随路能力的组合DataCopy接口内包含了设置寄存器与数据搬运能力。L0C Buffer-Unified Buffer随路量化激活搬运(FixPipe)支持多种随路能力的组合FixPipe接口内包含了设置寄存器与数据搬运能力。L1 Buffer-Unified Buffer连续数据搬运(DataCopyL1ToUB)提供基础的数据搬运能力数据在传输过程中保持原始格式和内容不变支持连续数据搬运。L1 Buffer-Unified Buffer高维切分数据搬运(DataCopyL1ToUB)提供基础的数据搬运能力数据在传输过程中保持原始格式和内容不变支持连续和非连续的数据搬运。UBToL1连续数据搬运(DataCopy)DataCopy能够实现Unified Buffer到L1 Buffer的连续数据搬运数据搬运时格式和内容保持不变。具体支持的数据通路为以逻辑位置TPosition表示Unified Buffer - L1 BufferUB - C1搬运的数据用于矩阵计算接口具体介绍请参考UBToL1连续数据搬运DataCopy。src和dst分别为源操作数和目的操作数count为连续搬运的元素个数。template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorT src, const uint32_t count)UBToL1高维切分数据搬运(DataCopy)DataCopy能够实现Unified Buffer到L1 Buffer的连续数据搬运和非连续数据搬运数据搬运时格式和内容保持不变。高维切分是指能够通过配置数据块个数、单个数据块长度、地址偏移等搬运参数实现非连续搬运。具体支持的数据通路为以逻辑位置TPosition表示Unified Buffer - L1 BufferUB - C1搬运的数据用于矩阵计算接口具体介绍请参考UBToL1高维切分数据搬运DataCopy。src和dst分别为源操作数和目的操作数repeatParams为搬运参数。template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorT src, const DataCopyParams repeatParams)UBToL1随路转换-ND2NZ搬运(DataCopy)该接口主要实现将数据从Unified Buffer搬运至L1 Buffer并支持在数据搬运时进行ND到NZ格式的转换。具体支持的数据通路为以逻辑位置TPosition表示Unified Buffer - L1 BufferUB - C1搬运的数据用于矩阵计算接口具体介绍请参考UBToL1随路转换-ND2NZ搬运DataCopy。src和dst分别为源操作数和目的操作数intriParams为ND2NZ搬运配置参数。template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorT src, const Nd2NzParams intriParams)UBToL1非对齐数据搬运(DataCopyPad)该接口主要实现将数据从Unified Buffer搬运至L1 Buffer并支持在数据搬运时提供非对齐数据搬运功能可以根据开发者的需要自行填充数据。具体支持的数据通路为以逻辑位置TPosition表示Unified Buffer - L1 BufferUB - C1搬运的数据用于矩阵计算接口具体介绍请参考UBToL1非对齐数据搬运DataCopyPad。src和dst分别为源操作数和目的操作数dataCopyParams和nd2nzParams为搬运参数。template typename T __aicore__ inline void DataCopyPad(const LocalTensorT dst, const LocalTensorT src, const DataCopyExtParams dataCopyParams, const Nd2NzParams nd2nzParams)L0CToUB随路量化激活搬运(DataCopy)该接口主要实现将数据从L0C Buffer搬运至Unified Buffer并支持多种随路能力的组合接口内包含了设置寄存器与数据搬运能力。具体支持的数据通路为以逻辑位置TPosition表示L0C Buffer - Unified BufferCO1 - UB搬运的数据为矩阵计算的结果接口具体介绍请参考L0C到UB数据搬运DataCopy。该接口仅Atlas 推理系列产品AI Core支持。src和dst分别为源操作数和目的操作数intriParams和enhancedParams为搬运参数。源操作数和目的操作数类型一致template typename T __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorT src, const DataCopyParams intriParams, const DataCopyEnhancedParams enhancedParams)源操作数和目的操作数类型不一致template typename T, typename U __aicore__ inline void DataCopy(const LocalTensorT dst, const LocalTensorU src, const DataCopyParams intriParams, const DataCopyEnhancedParams enhancedParams)L0CToUB随路量化激活搬运(FixPipe)该接口主要实现将数据从L0C Buffer搬运至Unified Buffer并支持多种随路能力的组合接口内包含了设置寄存器与数据搬运能力。具体支持的数据通路为以逻辑位置TPosition表示L0C Buffer - Unified BufferCO1 - UB搬运的数据为矩阵计算的结果以Ascend 950PR/Ascend 950DT为例接口示例如下注意不同产品型号的接口原型可能不同具体介绍请参考L0C到UB数据搬运Fixpipe。src和dst分别为源操作数和目的操作数intriParams为搬运参数cbufWorkspace为开启tensor量化时所需的量化参数。不开启随路tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR __aicore__ inline void Fixpipe(const LocalTensorT dst, const LocalTensorU src, const FixpipeParamsArch3510config.format intriParams)开启随路tensor量化功能template typename T, typename U, const FixpipeConfig config CFG_ROW_MAJOR __aicore__ inline void Fixpipe(const LocalTensorT dst, const LocalTensorU src, const LocalTensoruint64_t cbufWorkspace, const FixpipeParamsArch3510config.format intriParams)L1ToUB连续数据搬运(DataCopyL1ToUB)DataCopyL1ToUB能够实现L1 Buffer到Unified Buffer的连续数据搬运数据搬运时格式和内容保持不变。具体支持的数据通路为以逻辑位置TPosition表示L1 Buffer - Unified BufferC1 - UB搬运的数据用于矩阵计算接口具体介绍请参考L1到UB数据搬运DataCopyL1ToUB。该接口仅Ascend 950PR/Ascend 950DT支持。src和dst分别为源操作数和目的操作数count为连续搬运的元素个数。template typename T, uint8_t subBlockId 0 __aicore__ inline void DataCopyL1ToUB(const LocalTensorT dst, const LocalTensorT src, const uint32_t count)L1ToUB高维切分数据搬运(DataCopyL1ToUB)DataCopyL1ToUB能够实现L1 Buffer到Unified Buffer的连续数据搬运和非连续数据搬运数据搬运时格式和内容保持不变。高维切分是指能够通过配置数据块个数、单个数据块长度、地址偏移等搬运参数实现非连续搬运。具体支持的数据通路为以逻辑位置TPosition表示L1 Buffer - Unified BufferC1 - UB搬运的数据用于矩阵计算接口具体介绍请参考L1到UB数据搬运DataCopyL1ToUB。该接口仅Ascend 950PR/Ascend 950DT支持。src和dst分别为源操作数和目的操作数repeatParams为搬运参数。template typename T, uint8_t subBlockId 0 __aicore__ inline void DataCopyL1ToUB(const LocalTensorT dst, const LocalTensorT src, const DataCopyParams repeatParams)【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考