晓查 发自 凹非寺 量子位 报道 | 公众号 qbitai
adam作为一种快速收敛的优化器被广泛采用，但是它较差的收敛性限制了使用范围，为了保证更优的结果，很多情况下我们还在使用sgd。
但sgd较慢的收敛速度也令人头疼，所以人们一直在研究进一步优化adam的方法。adabound、radam都是在这方面的尝试。
最近北京大学孙栩课题组提出了一种新的优化器adamod。这是一种基于adam的改进优化器，具有自动预热试探法和长期学习速率缓冲。
adamod的名称来自adaptive（自适应）和momental bound（矩限制）。
在训练过程中，adamod可以轻松击败adam，同时对学习率超参数、训练曲线都不那么敏感，并且不需要预热。
adamod的原理是，在训练的同时计算自适应学习率的指数长期平均值，并使用该平均值来修剪训练过程中过高的学习率。
这一做法提高了优化器的收敛性，无需进行预热，并且降低了对学习率的敏感性。
在上图中，我们可以看出，sgdm和adam的训练结果都依赖于初始学习率的选择。而adamod即使学习率相差两个数量级，也能收敛到同一结果。
相比adam优化器，adamod只增加了一个超参数β3，用来描述训练中记忆长短的程度。
这种长期记忆解决了自适应学习率的异常过大数值，免于让优化器陷入了不良的状态。
与之前的radam优化器类似，adamod能够从训练开始就控制自适应学习率的变化，从而确保训练开始时的稳定性，无需预热。
相关报道：
radam优化器又进化：与lookahead强强结合，性能更优速度更快
在3个基于transformer的神经机器翻译模型上，没有预热的adamod显示出了比预热的adam有着更快的收敛速率和更好的收敛结果。
而adam优化器如果不预热，效果可能会非常差，达到完全不可用的程度。
其实，adamod的思路也很简单，只是在adam的基础上做了一个小幅的修改。
如adabound所描述的，不稳定和异常的学习率通常出现在训练快结束时，这会危及自适应方法的泛化性能。
中国学霸本科生提出ai新算法：速度比肩adam，性能媲美sgd，iclr领域主席赞不绝口
所以adabound的思路是，先定义学习率的下限ηl和ηu，一开始下限为0，上限为∞，随着训练过程的进行，上下限分别收敛到sgd的学习率α。
adam会根据一阶矩和二阶矩的梯度估计值计算自适应学习率。受指数滑动平均（ema）的启发，adamod计算梯度的低阶矩，并通过参数β3将记忆带到下一个步骤中。
可以看出，adam和adamod的前8步完全相同，后者只是比前者多了9、10两步。
具体来说，在adam中进行以下操作：
指数滑动平均的范围是1/β3。β3就是记忆长短的量度，它越接近1，记忆长度也就越长。
例如当β3=0.9时，记忆平均范围是10个周期；当β3=0.999时，平均范围是1000个周期。
根据β3可以算出当前步骤的平滑值和之前平滑值的关系。
通过这个方程，我们定义了当前平滑值和过去“长期记忆”（long-term-memory）的关系。显然，当β3=0时，adamod则完全等价于adam。
计算出当前平滑值后，在它和当前adam算出的学习率ηt中选出一个最小值，从而避免了出现过高学习率的情况。
这项操作可以看作是逐个元素地削减学习率，从而使输出受到当前平滑值的限制。
现在你已经可以直接通过pip安装。
尽管adamod胜过adam，但是在更长的训练条件下，sgdm仍然可以胜过adamod。
因此，有人提出了结合diffgrad和adamod的diffmod算法，使用另一个参数“len_memory”代替β3，可以将batch的总数传递它，更易于记忆和追踪。
这篇文章的第一作者是ding jianbang，通讯作者是孙栩副教授，他本科毕业华中科技大学，2010年从东京大学博士毕业，曾在微软公司美国雷蒙德研究院实习。
他的研究方向为自然语言处理、机器学习、深度学习，曾担任emnlp、ijcnlp等国际学术会议的领域主席。
之前的adabound优化器就是孙栩组的骆梁宸同学提出的。本文的第一作者也感谢了与骆梁宸等人参与的讨论。
博客讨论：
https://medium.com/@lessw/meet-adamod-a-new-deep-learning-optimizer-with-memory-f01e831b80bd
论文地址：
https://arxiv.org/abs/1910.12249v1
adamod源代码：
https://github.com/lancopku/adamod
diffmod源代码：
https://github.com/lessw2020/best-deep-learning-optimizers/blob/master/adamod/diffmod.py
— 完 —
量子位 qbitai · 头条号签约
关注我们，第一时间获知前沿科技动态