第二个问题,为什么这个baseline是有用的? baseline 对方差是由影响的。首先把刚才的这个梯度∇θJ(θ)=ES∼η,A∼π[∇θln⁡π(A∣S,θt)qπ(S,A)]=ES∼η,A∼π[∇θln⁡π(A∣S,θt)(qπ(S,A)−b(S))]\begin{aligned} \nabla_{\theta}J(\