transfer learning
- introduce
- ideas
-
- labelled-labelled
-
- Model Fine-tuning
- Multitask Learning
- unlabelled-labelled
-
- Domain-adversarial training
- Zero-shot learning
introduce
為什麼需要transfer learning
在某些特定領域的data是很少的,但是其他領域的data确實很多的。
分情況讨論
ideas
labelled-labelled
Model Fine-tuning
思想:
Conservative Training流程:
Layer Transfer:
不同領域,copy的layer的選擇也會不同
效果對比:
實驗結果:
Multitask Learning
source和target都考慮進來
在多語言辨識的應用:
實驗結果:
unlabelled-labelled
我們的任務:
Domain-adversarial training
架構:
架構修改1:
架構修改2:
缺點:
實驗結果:
Zero-shot learning
ML遇到從來沒有見過的類别怎麼辦?
attribute:
去找attribute,再查找屬性表
attribute embedding
用word vector
損失函數:
另外一個方法:
翻譯中的應用: