原标題One Pixel Attack for Fooling Deep Neural Networks
論文：
One pixel attack for fooling deep neural networksarxiv.org
概述：最近的研究表明，通過向輸入向量添加相對較小的擾動，可以很容易地改變深度神經網絡(DNN)的輸出。在本文中，研究人員分析了一種攻擊在一個非常有限的情況下，隻有一個像素可以修改。為此，研究人員們提出了一種基于差分進化(DE)的單像素對抗性攝動的新算法。它需要較少的對抗的資訊(黑盒攻擊)來欺騙。結果表明,67.97%的自然圖像Kaggle CIFAR-10測試資料集和16.04%的ImageNet (ILSVRC 2012)測試圖像可以擾亂至少一個目标類通過修改隻是一個像素平均74.03%和22.91%的信心。我們還在原來的CIFAR-10資料集上顯示了同樣的漏洞。是以，提出的攻擊探索了在極端有限的情況下對抗性機器學習的一種不同的方式，表明目前的dnn也容易受到這種低維數攻擊。此外，我們還說明了DE(廣義上說，進化計算)在對抗性機器學習領域的一個重要應用:建立能夠有效生成低成本對神經網絡進行對抗性攻擊的工具，以評估魯棒性。
DNN會受到對抗樣本的影響，加入擾動，不會影響圖像的特征語義，但會使得神經網絡的分類發生偏差。大部分的攻擊都依賴于梯度的擾動，需要模型和資料的先驗知識。
OnePixelAttack的創新點：
- 基于拓撲學，對圖像的鄰域進行分析——幾何上，前人的一些研究都是通過限制攝動向量的長度來分析自然象的鄰域。例如，論文《Universal adversarial perturbations》指出：
https://arxiv.org/abs/1610.08401arxiv.org
普遍擾動給每個像素增加一個小值，這樣它就可以在自然圖像的周圍的球面區域中搜尋對抗圖像。另一方面，提出的少像素攝動可以看作是用極低維的切片對輸入空間進行切割，這是對其中高維DNN輸入空間特征的一種不同的表達方式，單像素攻擊是多像素攻擊的一種極端情況。理論上，它可以從幾何角度了解CNN的輸入空間，而不是另一種極端情況:對每個像素都進行修改的通用對攻擾動。
- 一種感覺的度量-攻擊可以有效地隐藏在實踐中的對抗修改。以前的作品都不能保證所造成的幹擾是完全不可察覺的。緩解這個問題的一個直接方法是将修改的數量限制到盡可能少。具體來說，研究人員沒有在理論上提出額外的限制條件，也沒有考慮更複雜的代價函數來進行擾動，而是通過限制可以修改的像素的數量，提出了一個經驗的解決方案。換句話說，我們使用像素的數量作為機關，而不是擾動向量的長度來測量擾動強度，并考慮最壞的情況是一個像素的修改，以及其他兩種情況(即3個和5個像素)進行比較。
作者的初衷是搜尋一種黑盒對抗樣本，盡可能限制改動的像素，是以可以看作一種
範數攻擊。
在三維輸入空間(即圖像有三個像素)中使用一個和兩個像素擾動攻擊的例子。綠色點(球體)表示自然圖像。在單像素攝動的情況下，搜尋空間為在自然圖像上相交的三條垂線，用紅黑條紋表示。對于兩像素的擾動，搜尋空間是三個藍色(陰影)的二維平面。總之，一像素攻擊和兩像素攻擊分别搜尋原始三維輸入空間的一維和二維切片上的攝動。
差分進化差分進化(DE)是一種求解複雜多模态優化問題的基于種群的優化算法。DE屬于進化算法(EA)的一般類别。此外，它在種群選擇階段具有保持多樣性的機制，在實際應用中有望有效地找到比基于梯度的解決方案甚至其他類型進化算法]更優質的解決方案。具體地說，在每次疊代中，根據目前填充(父集合)生成另一組候選解決方案(子集合)。然後将這些子代與它們相應的親代進行比較，如果它們比親代更适合(具有更高的适合度值)，它們就能存活下來。這樣，隻有通過親子之間的比較，才能同時達到保持多樣性和提高适應度值的目的。
DE不使用梯度資訊進行優化，是以不要求目标函數是可微的或先前已知的。是以，與基于梯度的方法相比，它可以用于更廣泛的優化問題(如不可微、動态、有噪聲等)。使用DE生成對抗圖像有以下主要優點:
- 尋找全局最優解的更高機率是一種元啟發式，相對于梯度下降或貪婪搜尋算法，它較少受到局部最小值的影響(這部分是由于多樣性保持機制和使用一組候選解決方案)。此外，本文所考慮的問題具有嚴格的限制(隻能修改一個像素)，使其相對較難。
- 需要的先驗資訊更少- DE不需要像梯度下降法和拟牛頓法這樣的經典優化方法那樣要求優化問題是可區分的。這在産生敵對圖像的情況下是至關重要的，因為1)有一些網絡是不可微的，例如 Spectrum-diverse neuroevolution with unified neural models 。2)計算梯度需要更多的目标系統資訊，這在很多情況下是不現實的。
- 簡單性——這裡提出的方法與使用的分類器無關。要使攻擊發生，知道攻擊的機率就足夠了。
實際使用的方法：該算法将微擾編碼成一個由微分演化優化的候選解陣列。一個候選解決方案包含固定數量的擾動，每個擾動都是包含5個元素的元組:擾動的x-y坐标和RGB值。一個擾動會改變一個像素。候選解的初始數量(種群)為400，在每次疊代中，通過使用通常的DE公式将産生另外400個候選解(子解):
實驗測試網絡：全卷積、顔水成等人提出的網中網結構還有VGG-16、AlexNet
測試資料集：原始CIFAR-10和Kaggle CIFAR-10、ImageNet
測試結果：（摘錄）
原始CIFAR-10攻擊效果
Kaggle上訓練CIFAR-10攻擊效果
Imagenet上做有目标攻擊的效果
https://github.com/Hyperparticle/one-pixel-attack-kerasgithub.com
有Jupyter Notebook Demo，輸入一張Balloon的圖檔，OnePixelAttack使其預測置信度降低，實際測試效果改天更新。