天天看点

论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》

该文章是一篇遥感图像融合的文章,但在图片的预处理中,使用风格迁移的方法对图片进行了处理,使得使用经典的SIFT方法进行图像配准拼接时能够找到更多对应特征,从而实现更好地融合效果。

1.Motivation

多模态遥感图像的自动配准是一个具有挑战性的问题,包括其中包括光学、光探测与测距、合成孔径雷达图像等多种图像之间的配准问题。由于成像原理的不同,这些图像在局部区域的灰度值、纹理和景观特征也不同。这也使得传统的图像配准方法难以获得满意的配准结果。

2.Model

论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》
论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》

对于多模态图像A,B,首先使用CNN进行特征提取。这里采用风格迁移中常用的VGG-19网络提取5个不同尺度的特征。从深层特征开始进行图像重构。在L=5时,定义重构图像与源图像相同。随后采用NNF(最近邻搜索)的方法进行特征的匹配(其中A与重建得到的B’匹配,B与重建得到的A’匹配),得到layer5的特征映射关系。在此基础上进行反卷积,实现上采样的操作,进行layer4的特征重建。如此重复到layer1再经过图像重建得到A的风格化图像A‘和B的风格化图像B’。再以A’,B’进行图像的配准操作。

3. Method

3.1 sytle transfer

论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》

使用VGG-19网络进行不同尺度上的特征抽取,随后从深层特征开始进行特征的匹配,通过NNF方法得到图像特征的映射关系φa->b,φb->a.在深度特征的基础上进行浅层特征的恢复,此处为了使图像恢复上层的大小,并未直接进行上采样,而是进行了反卷积,这样可以减少信息的丢失(反卷积同样存在可能出现棋盘伪影的问题。

论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》

通过如上损失函数,将信息损失最小化。

论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》

layer L-1即为上式所求,其中○是对应元素相乘。W为权重响应

3.2 Similar Image Matching

我们使用经典的局部特征算子来对齐图像,scale-invariant

feature transform (SIFT)

4.Result

论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》
论文阅读 《Multimodal Remote Sensing Image Registration Based on Image Transfer and Local Features》

5.Conclusion

1.拓宽了风格迁移方法的使用范围

2.准确率上提升较高,但运行速度变慢许多

3.可以考虑在VGG层数的选择上做取舍。

继续阅读