为什么q.k的维度一大就容易导致梯度消失,为什么attention要用√d_k来作为缩放因子,又是怎么起效果的。作为记录

发布时间:2026/9/24 2:03:07
为什么q.k的维度一大就容易导致梯度消失,为什么attention要用√d_k来作为缩放因子,又是怎么起效果的。作为记录