一种具有加速技术的降方差随机逼近方法

我们考虑机器学习结构风险最小化领域的一个基本问题，它可以表示为大量光滑分量函数加上一个简单凸（但可能是非光滑）函数的平均值。在本文中，我们提出了一种新的基于引入的点SAGA的近方差减少随机方法。我们的方法通过结合快速Douglas–Rachford分裂实现了两个近端算子的计算，并在动量因子的选择上参考了FISTA算法的方案。我们证明了当每个损失函数都是凸的和光滑的时，目标函数值以$\mathcal{O}（1/k）$的速率收敛到迭代点。此外，我们还证明了我们的方法对于强凸光滑损失函数达到了线性收敛速度。实验证明了该算法的有效性，尤其是在损失函数条件较差且加速度良好的情况下。