天天看点

Deep networks with stochastic depthAbstractIntroductionFrameworkOthers

Abstract

ECCV2016的文章,和DenseNet同样的作者,这篇文章早于DenseNet.

深的网络在现在表现出了十分强大的能力,但是也存在许多问题。主要是梯度消散、前向传播中信息的不断衰减、训练耗时长等问题。本文主要是提出随机深度,在训练时使用较浅的深度(随机在resnet的基础上bypass掉一些层),在测试时使用较深的深度,较少训练时间,提高训练性能,最终在四个数据集上都超过了resnet原有的性能(cifar-10, cifar-100, SVHN, imageNet).

Introduction

Motivation就是以上提到的三个问题,本文就是基于这三个问题,提出解决方案.最终的随机深度方法的优点是:(1)较少深度,增强了反向传播的梯度(2)利用不同的深度训练,最终相当于潜在地集成了多个不同深度的网络.

Framework

基本架构使用ResNet-110或152.

为每个残差模块的转换部分设置一个通过与不通过的概率b

Deep networks with stochastic depthAbstractIntroductionFrameworkOthers

概率的设置方位采用常量或者线性

Deep networks with stochastic depthAbstractIntroductionFrameworkOthers

然后通过在四个数据集上的实验,得出结论

Others

开源代码torch. https://github.com/yueatsprograms/Stochastic_Depth

继续阅读