
梯度更新的流程梯度更新是通过计算损失函数而传统机器学习损失函数更新方式是通过数学推导和通过维度验证来做出来的。传统的梯度更新是首先利用机器学习的模型去计算然后计算损失函数然后损失函数对参数求导然后利用随机梯度下降更新。所谓的随机梯度下降的随机代表不是拿所有数据每次更新而是按照batch去取。python语法的知识1.对于对应的一行求和np.sum(*,axis1,keepdimsTrue)我第一次写的时候不记得python的true怎么写了也丢了s2.矩阵乘法使用3.最后梯度更新的时候lr是一个常数4.for的用法是for i in range(0,nums,batch)