天天看点

模型剪枝学习笔记 --- Channel Pruning via Automatic Structure Search

Channel Pruning via Automatic Structure Search

代码:https://github.com/lmbxmu/ABCPruner

论文下载链接:https://arxiv.org/abs/2001.08565

该论文是 厦大&鹏程实验室&北大&腾讯优图新提出的一种基于生物启发式搜索算法-人工蜂群(artifical bee colony)算法(ABC)的通道剪枝算法。

引入了类似传统机器学习中常用的生物进化算法—遗传,蚁群,布谷鸟算法的ABC,感觉挺有意思。

摘要

通道(channel)剪枝是压缩深度神经网络的主要方法之一。为此,大多数现有的剪枝方法着重于通过重要性/优化或基于经验法则设计的正则化来选择通道(filters),这会导致次剪枝。

在本文中,我们提出了一种新的基于人工蜂群(artifical bee colony)算法(ABC)的通道剪枝方法,称为ABCPruner,其目的是有效地找到最佳的剪枝结构,即每一层中的通道数,而不是选择“重要”通道。为了解决深层网络中难以剪枝的庞大组合,我们首先建议缩小保留通道限于特定空间的组合,这样可以大大减少剪枝结构的组合。然后,将对最佳剪枝结构的搜索公式化为一个优化问题,并集成ABC算法以自动方式解决该问题,以减少人为干扰。事实证明,ABCPruner更为有效,这也使端对端的微调得以有效进行。在CIFAR-10上进行的实验表明,ABCPruner减少了73.68%的FLOP和88.68%的参数,而VGGNet-16的准确度甚至提高了0.06%。在ILSVRC-2012上,它减少了62.87%的FLOP,并去除了60.01%的参数,而ResNet-152的准确度损失却微不足道。

ABCPruner步骤
模型剪枝学习笔记 --- Channel Pruning via Automatic Structure Search
实验性能
模型剪枝学习笔记 --- Channel Pruning via Automatic Structure Search
模型剪枝学习笔记 --- Channel Pruning via Automatic Structure Search
模型剪枝学习笔记 --- Channel Pruning via Automatic Structure Search

参考

https://blog.csdn.net/weixin_42528077/article/details/83721723

继续阅读