用验证机制加强神经网络的能力：研究者提出机器学习防御措施

几年前，我们见证了神经网络和学习算法的快速兴起。人工智能时代正在到来，探索过程中也不可避免出现一些失败的尝试，有些失败的项目往往有迹可循，因为算法足够简单，我们可以以管窥豹，做出合理的猜想。

但是，如果涉及到深层神经网络的问题，就很难讲了。比如，早期我们所提的pix2pix技术，很多情况下看起来完全可以零失误完成，但在还是有很多失败案例。

Twitter上出现的各种失败案例

这不仅因为神经网络在面对虚假输入时没有鉴别能力，很可能会误读、误识，更因为神经网络没有对抗性，可能随时被颠覆，也就是说，我们分分钟可以训练一种新的神经网络来颠覆原有的学习系统，让它错乱崩溃。

给汽车加点噪声  深度神经网络还以为是鸵鸟

就目前来说，作者们认为现有防御措施的限制在于，缺乏对机器学习模型的验证机制。

测试执行脚本

本期论文认为，神经网络需要具备验证关键任务的能力，探讨了几类保护措施，让机器学习模型能够真正起作用。视频中还介绍了论文相关的小实验，实验将一个具有神经网络的小型防撞飞机作为研究对象，来呈现学习算法在关键任务系统中运作机制和原理。

▷ 观看论文解读大概需要  4  分钟

学霸们还请自行阅读论文以获得更多细节

来源 / Two Minute Papers

翻译 / 洪振亚

校对 / 囧囧

整理 / 雷锋字幕组

雷锋网(公众号：雷锋网)AI研习社出品系列短视频《 2 分钟论文 》，带大家用碎片时间阅览前沿技术，了解 AI 领域的最新研究成果。欢迎关注雷锋网雷锋字幕组专栏，获得更多AI知识~感谢志愿者对本期内容作出贡献。

本文作者：雷锋字幕组