持续学习 和 灾难性遗忘

持续学习 | continual learning

我们人类有能够将一个任务的知识用到另一个任务上的能力，学习后一个任务时也不会忘记如何做前一个任务。这种能力叫持续学习 (continual learning) 。

人类的终身学习能力是由一系列丰富的神经认知机制和大脑记忆组成的，这些机制共同促进我们感觉学习技能的发展和转化，以及长期记忆的巩固和恢复。

因此如果将人类的终身学习能力转化到计算机中，对于计算学习系统 和 在实际生活中中交互并处理连续信息流的功能迭代至关重要。

而对于一个模型来说：

Continual Learning is a concept to learn a model for a large number of tasks sequentially without forgetting knowledge obtained from the preceding tasks, where the data in the old tasks are not available any more during training new ones.

持续学习(continuous Learning)是指在训练新任务时，不忘记从前一个任务中获得的知识，并连续地学习大量任务的模型。

但是我们人类也有一个毛病，就是学到的东西也可能会忘记。你不能一五一十的全都记住，你之前的学过的所有东西。比如你现在立即默写一个怎么用高锰酸钾生成氧气，已经离开高中这么久了，我觉得你肯定记不住这个方程式了。

人固然存在这种问题，机器因为神经网络的设计天然缺陷，它也会存在这样的问题，就是将已经学习到的东西给遗忘掉了。我们称之为灾难性遗忘。

终身学习仍然是机器学习和神经网络模型长期面临的挑战，因为从非平稳数据分布中不断获取增量可用信息通常会导致灾难性的遗忘或干扰。这是神经网络设计的先天局限性，是深度神经网络模型的一个主要缺点，该模型通常从固定的训练数据中学习表示，因此没有考虑信息随着时间的推移逐渐可用的情况。

Source: Continual Learning by Asymmetric Loss Approximation with Single-Side Overestimation

Source: Lifelong Machine Learning

Source: Continual lifelong learning with neural networks: A review

灾难性遗忘 | catastrophic forgetting

灾难性遗忘（catastrophic forgetting），是一个在深度学习中常被提起的概念，也是lifelong learning, continual learning中研究的主要问题之一。

灾难性遗忘，描述的是在一个任务上训练出来的模型，如果在一个新任务上进行训练，就会大大降低原任务上的泛化性能，即之前的知识被严重遗忘了。

下图灾难性遗忘，来源：论文Attention-Based Selective Plasticity