跨域小样本(cross domain few shot)

cross domain Few-shot 存在问题

1. 域间类别不重合
2. 目标域时标签数据少
3. 存在域偏差

A Broader Study of Cross-Domain Few-Shot Learning（ECCV 2020 link）

提出了cross domain few-shot learning的标准，在 m i n i I m a g e N e t miniImageNet miniImageNet上训练模型，随后采用 N − w a y ， K − s h o t N-way，K-shot N−way，K−shot的方式，迁移到目标数据集上。

结论：

1. 现有元学习方法的效果要好于之前的元学习策略
2. 微调的策略要好于元学习策略
3. 元学习策略可能不如随机权重

Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation（ICLR 2020 link）

核心思想: 在网络后的BatchNorm后添加特征变换层，对来自BatchNorm的特征进行扰动增强（会增加一个高斯分布进来），以此提高模型对不同域的适配性。同时，特征变换层的参数通过元学习自动搜索。

实验部分: 单域迁移模型在miniImageNet上训练，随后迁移到不同目标域验证效果；多域迁移模型在多个域上进行训练，最后迁移到一个特定域上验证效果。

结果:

1. 单域迁移：

1. 多域迁移：

Feature Transformation Ensemble Model with Batch Spectral Regularization for Cross-Domain Few-Shot Classification（滴滴出行 link）

核心思想：对特征进行特征变换；并集成各种方式

Meta-FDMixup: Cross-Domain Few-Shot Learning Guided by Labeled Target Data（arxiv 2021 link）

核心思想：少量使用target数据集来拟合模型；omain-irrelevant与domain-specific特征的使用。

论文筛选目标域中的少量数据 D T b D_{Tb} DTb​来用于训练（个人认为这种方式是帮助模型提取了解目标域的分布），同时 D S b , D S e , D S n , D T b D_{Sb},D_{Se},D_{Sn},D_{Tb} DSb​,DSe​,DSn​,DTb​中彼此类别不相交，所以并不违背小样本学习的初衷，模型最后在 D T n D_{Tn} DTn​上测试结果。

1. pretraining阶段：首先在source dataset上训练模型，主要用来训练Feature Extractor与Disentangle Module， Disentangle Module将来自Feature Extractor的1-D特征输入全连接网络，通过类似VAE的采样方式得到两种特征。完成此阶段训练后，模型能够有效对source进行分类，此阶段得到的Disentangle Module能够有效提取domain-irrelevant特征。

1. meta-training阶段：
   1. 将source与部分target数据进行混合
   2. 使用第一阶段得到的网络，提取domain-irrelevant与domain-specific特征。
   3. 使用domain-irrelevant特征完成小样本分类损失
   4. 使用 L d o m 2 L_{dom2} Ldom2​约束使网络有效区分domain-specific特征；使用 L d o m 1 L_{dom1} Ldom1​约束使网络分不清domain-irrelevant特征

      

实验部分

与FWT类似，使用Mini-Imagenet作为source， CUB [34], Cars [17], Places [38], and Plantae [31]作为target。

Domain-Adaptive Few-Shot Learning(WACV 2021 link)

核心思想：在编码混淆之前约束域判别特征+在编码混淆后约束域无关特征

Cross-Domain Few-Shot Learning with Meta Fine-Tuning（澎思科技 CVPR 2020 CD-FSL挑战赛 链接: link）

核心思想：将元学习与微调相结合，得到更好的模型

SB-MTL: Score-based Meta Transfer-Learning for Cross-Domain Few-Shot Learning（上一篇的兄弟文章）

[IJCAI 2021]Cross-Domain Few-Shot Classification via Adversarial Task Augmentation

核心思想：增大源域模型的适配性，从左面小绿变为右面大绿，这样就和不同目标域有了重合。增强的目标不是在样本特征级别做的，而是训练中的task级别（这个也是在Task上做文章Improving Task Adaptation for Cross-domain Few-shot Learning）。

Modular Adaptation for Cross-Domain Few-Shot Learning（link）

将现有cross domain Few-shot解决方案做了一个pipline，来探索不同组合的有效性，实现解决方案的自动开关。