持續學習 和 災難性遺忘

持續學習 | continual learning

我們人類有能夠将一個任務的知識用到另一個任務上的能力，學習後一個任務時也不會忘記如何做前一個任務。這種能力叫持續學習 (continual learning) 。

人類的終身學習能力是由一系列豐富的神經認知機制和大腦記憶組成的，這些機制共同促進我們感覺學習技能的發展和轉化，以及長期記憶的鞏固和恢複。

是以如果将人類的終身學習能力轉化到計算機中，對于計算學習系統 和 在實際生活中中互動并處理連續資訊流的功能疊代至關重要。

而對于一個模型來說：

Continual Learning is a concept to learn a model for a large number of tasks sequentially without forgetting knowledge obtained from the preceding tasks, where the data in the old tasks are not available any more during training new ones.

持續學習(continuous Learning)是指在訓練新任務時，不忘記從前一個任務中獲得的知識，并連續地學習大量任務的模型。

但是我們人類也有一個毛病，就是學到的東西也可能會忘記。你不能一五一十的全都記住，你之前的學過的所有東西。比如你現在立即默寫一個怎麼用高錳酸鉀生成氧氣，已經離開高中這麼久了，我覺得你肯定記不住這個方程式了。

人固然存在這種問題，機器因為神經網絡的設計天然缺陷，它也會存在這樣的問題，就是将已經學習到的東西給遺忘掉了。我們稱之為災難性遺忘。

終身學習仍然是機器學習和神經網絡模型長期面臨的挑戰，因為從非平穩資料分布中不斷擷取增量可用資訊通常會導緻災難性的遺忘或幹擾。這是神經網絡設計的先天局限性，是深度神經網絡模型的一個主要缺點，該模型通常從固定的訓練資料中學習表示，是以沒有考慮資訊随着時間的推移逐漸可用的情況。

Source: Continual Learning by Asymmetric Loss Approximation with Single-Side Overestimation

Source: Lifelong Machine Learning

Source: Continual lifelong learning with neural networks: A review

災難性遺忘 | catastrophic forgetting

災難性遺忘（catastrophic forgetting），是一個在深度學習中常被提起的概念，也是lifelong learning, continual learning中研究的主要問題之一。

災難性遺忘，描述的是在一個任務上訓練出來的模型，如果在一個新任務上進行訓練，就會大大降低原任務上的泛化性能，即之前的知識被嚴重遺忘了。

下圖災難性遺忘，來源：論文Attention-Based Selective Plasticity