GLUGrad【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品×Atlas 推理系列产品√Atlas 训练系列产品√功能说明接口功能GLU的反向梯度计算。将输入张量self沿着指定的维度dim平均分成两个张量a和b根据gradOut计算梯度。计算公式$$ \frac{\partial GLU(a,b)}{\partial(a,b)}cat(\sigma(b),\sigma(b) \otimes a \otimes (1-\sigma(b))) $$数学计算表达式 假设输出的GLUGrad有两部分组成out[a_grad, b_grad]则sig_b sigmoid(b)a_grad grad_out * sig_bb_grad a_grad * (a - a * sig_b)其中grad_out为梯度输出a表示的是输入张量self根据指定dim进行均分后的前部分张量b表示后半部分张量。参数说明参数名输入/输出/属性描述数据类型数据格式grad_out输入梯度输出张量。DOUBLE、FLOAT、FLOAT16、BFLOAT16NDself输入前向传播的输入张量。DOUBLE、FLOAT、FLOAT16、BFLOAT16NDdim属性表示要拆分输入self的维度。INT64-out输出梯度输出shape与self一致。DOUBLE、FLOAT、FLOAT16、BFLOAT16ND约束说明无调用说明调用方式调用样例说明aclnn调用test_aclnn_glu_backward通过aclnnGluBackward接口方式调用GluGrad算子。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考