天天看點

讓自動駕駛撞牆,刷别人的臉付賬:最新的AI安全漏洞讓我們開了眼界

剛剛過去的 1024,極棒大賽上演了全新形式的人機攻防對決。

劫持正在飛行的無人機、幹擾自動駕駛汽車 「緻盲」、戴上口罩刷别人的臉結賬,在上周六的 GeekPwn 2020 國際安全極客大賽上,全球頂級白帽黑客們向我們揭開了 AI 模型、物聯網、5G 等領域的不少未知漏洞。

本次大賽,有超過 600 支來自不同科技公司、大學的極客隊伍報名參賽,最終有近 50 支在 10 月 24 日共同面向 500 萬元獎金池發起了沖擊。

決賽開始之前,今年的 GeekPwn 大賽早在 3 月即開放了各賽題的報名,4 月份各項比賽公布規則,在 8 月底 CAAD 線上比賽宣告結束。10 月 24 日來到現場的團隊,各個身懷絕技。

他們面臨的挑戰也不同以往——主辦方為選手們準備了全新的挑戰。今年的八大賽題包括「新基建」安全大賽、基于漏洞攻破挑戰賽、非基于漏洞攻破挑戰賽、雲安全比賽、少年黑客馬拉松大賽、虛假人臉 AI 識别大賽、AI 變臉口罩挑戰賽以及竊密與反竊密挑戰賽。每個賽題下還分為多個單項比賽,關注不同的方向。

讓自動駕駛撞牆,刷别人的臉付賬:最新的AI安全漏洞讓我們開了眼界

其中,騰訊安全聯合 GeekPwn 舉辦的國内首個新基建安全大賽涵蓋了 5G、物聯網和人工智能,其中各個挑戰者們針對車聯網、無人機、安檢裝置、智能電表等目标的破解,讓人們對這些産業的安全有了新的認識。

戴上口罩,刷别人的臉

刷臉門禁、手機解鎖、機場安檢…… 使用人工智能算法的人臉識别,最近已經成為人們每天都在使用的技術。因為 2020 年初的新冠疫情,越來越多佩戴口罩的情形為人臉識别帶來了新的挑戰。有一些科技公司已經推出了即使戴上口罩也能識别出人臉的新技術,據稱準确率可以達到 99%。但另一方面,人們佩戴的口罩覆寫了人臉的很大一部分面積,也為加入對抗樣本進行人臉識别破解留下了「後門」。

這場挑戰模拟了人臉識别自動售貨機和 ATM 取貨場景,選手們可以利用 AI 算法自制印上攻擊樣本的口罩遮擋自己的面部,需要在 150 秒内讓售貨機與取款機人臉識别算法識别成主辦方指定的目标,包括蔣昌建、「美國隊長」克裡斯 · 埃文斯、伊隆 · 馬斯克等人。

在這其中,挑戰的目标還包括白盒算法(ArcFace 算法)與黑盒算法兩個賽道。顧名思義,黑盒算法是指攻擊者事先并不知曉人臉識别算法的構成,破解難度更大。

讓自動駕駛撞牆,刷别人的臉付賬:最新的AI安全漏洞讓我們開了眼界

GeekPwn 創始人王琦(大牛蛙)戴上了假冒主持人蔣昌建的口罩:AI 對抗樣本的攻擊,并不是把目标人臉的一部分列印在口罩上那麼簡單。

比賽對于兩台機器各設定了三個難度遞增的關卡,每一關口罩的有效攻擊區域依次遞減,對抗樣本圖案在口罩上的面積從 75%,降低至 67%,再降低至 50%,難度逐漸增大,前一關挑戰失敗則意味着失去後一關的挑戰資格。

入圍決賽的團隊包括 AFMask 團隊,海棠初白團隊,來自清華大學和北京大學的動動動動弦團隊,以及來自清華大學計算機系和 RealAI 的 TSAIL 隊。

戴上口罩,我就能變臉取錢嗎?我們時常會聽到各家廠商談起「金融級别安全」的支付技術,要想破解跟錢有關的人臉識别系統,并不是說說那麼簡單的,事實上比賽的程序也驗證了人們的預料。

第一個出場的動動動動弦團隊,在第一輪兩個挑戰均告失敗;第二組 AFMask 團隊兩項第一輪均破解成功,但在第二輪兩項均挑戰失敗。TSAIL 和海棠初白兩隊也都倒在了第一輪。

刷臉支付難以破解,或許也是因為挑戰的規則略顯嚴格:每次嘗試僅有 45 秒時間,隻有一組隊伍闖過了第一關。另外由于比賽隻要求「置信度」達到 50% 即告闖關成功,在現實世界中支付環境的要求顯然更高,對于我們來說,刷臉支付被「盜号」的可能性仍然很低。

讓 Autopilot「自動撞牆」

自動駕駛雖然距離大規模應用還有一段時間,但是在量産車上已經有不少可以讓司機解放雙手的輔助駕駛功能了。對于不少人來說,有沒有 L2 級自動駕駛已經成為了最近買車時着重考慮的因素。在本屆極棒大賽中對自動駕駛的幹擾挑戰,向我們展示了這種技術的一些隐患。

進行本次挑戰的白帽黑客吳濰浠表示,要對汽車自動駕駛系統中的毫米波雷達進行幹擾,采用的裝置體積很小,價格也不貴。目前毫米波雷達是各類傳感器中公認穩定性較高的方式。

我們知道,目前的一些輔助駕駛技術,如特斯拉上的 Autopilot,是通過攝像頭和雷達來收集路面資訊的,不同汽車選擇的傳感器不太一樣(如特斯拉就沒有用到雷射雷達),但算法會收集所有的輸入資訊進行綜合判斷。技術人員制作的攻擊用白色小盒子,看起來很不起眼,但它可以造成的擾亂效果卻可以「緻命」。

讓自動駕駛撞牆,刷别人的臉付賬:最新的AI安全漏洞讓我們開了眼界

首先是沒有幹擾的測試,汽車的自動駕駛會在遇到紙箱堆成的「牆」面前停下來。

把幹擾器放到「牆腳下」,令人疑惑的現象出現了:汽車在進入自動駕駛模式後,看到眼前由紙箱堆成的牆之後似乎猶豫了一下,有一個減速過程,但無法識别前面的物體又加速撞了上去。最終「事故」發生,在實際環境下的黑客攻擊宣告成功。

在很多帶有自動駕駛功能的汽車中,隻要有一種傳感器給出危險訊号,則系統就會訓示車輛刹停。但在實驗中汽車仍然撞向障礙物,這次挑戰的成功,讓人們意識到在自動駕駛汽車進入實用化之前,還有很多工作要做。

據主辦方 GeekPwn 介紹,毫米波雷達攻擊的測試結果已送出給特斯拉方面,黑客們也将幫助車企對自動駕駛安全進行持續改進。

在 10 月 24 日的比賽現場,還有很多挑戰成功的項目:來自 TQL(清華 - 奇安信聯合研究中心)的安全研究人員利用位未知安全漏洞以雲端接入的方式,對正在作業的植保無人機發起攻擊,成功擷取了植保無人機的最高使用權限,使其偏離原定航道。來自鳳凰解碼(Phoenix Decoder,PhD)的白帽黑客也成功利用視訊協定中的未知安全漏洞,以網絡接入雲端的方式,對智能攝像頭實施了遠端攻擊。

這些聞所未聞的漏洞,為什麼都出現在 GeekPwn 上?

最近一兩年裡,我們見證了人工智能技術的大量落地。在每天都面臨各種變化的安全領域,新的形勢與挑戰正在出現。實際上,AI 安全有兩層含義:即用 AI 方法解決安全問題,以及 AI 技術的安全防護問題。

「GeekPwn 曾經舉辦過的『資料追蹤挑戰賽』,鼓勵人們用 AI 的方法從大量的資料中快速、準确的定位惡意網站或惡意應用,」極棒大賽負責人楊泉說道。「在 AI 技術大量進入實踐階段時,其自身的安全問題,又成了人們需要重點關注的領域。GeekPwn 連續多年舉辦的 CAAD(對抗樣本攻防賽)比賽對人工智能可能存在的安全問題進行賽題設定,通過比賽的方式暴露 AI 算法的缺陷,進而促進人工智能更健康的發展。」

讓自動駕駛撞牆,刷别人的臉付賬:最新的AI安全漏洞讓我們開了眼界

站在攻擊者的視角将威脅預演,提前暴露風險,并警告被破解廠商,是提升數字安全防禦體系長久以來一直通行的方式,這也正是 GeekPwn 大賽的核心價值所在。今年的國際安全極客大賽已經是第七屆了,在這些年的極棒大賽裡,我們見證了 AI 技術的大規模應用,以及「對抗樣本攻擊」等破解技術的興起,極客們在賽場上已經披露了數百個高危漏洞。

今天,每個人都在使用各種各樣的電子裝置,這說明安全漏洞在我們的生活中普遍存在。然而我們一直在享受新技術帶來的便利,卻忽略了技術背後存在的隐患,極棒通過挑戰比賽的方法将未知漏洞展示出來,讓人們對于新技術有了更多的認識,同時也喚起了對于技術安全防範的重視。

除了發現漏洞,還有培養新人。本屆 GeekPwn 還舉辦了首屆「少年黑客馬拉松大賽」,吸引了很多十到十六歲的黑客前來參賽。相比熱度越來越高的機器學習,資訊安全有時會被人們認為門檻過高,不過楊泉對此有着不同的看法。

「各個行業都有自己的入行『門檻』,我不認為行業不同,門檻就有高下,」楊泉表示。「AI 現在正被人熱捧,可是人工智能已經經曆了六七十年默默無聞的發展曆史。目前看網絡安全的人才有很大缺口,是因為近些年網絡安全越來越受到重視,行業需求越來越大。至于門檻高低,從個體來談,更多的是對網絡安全行業的熱情和投入,隻要具備一定的基礎知識,加上必須的努力和研究,就會取得不錯的成績。」

極客們還将繼續挑戰自我,為建構安全的應用作出更多貢獻。而極棒大賽的組織者們表示,明年的 GeekPwn 還會有更多新比賽出現。但是,始終不變的是發現、鼓勵、培養安全人才。GeekPwn 希望能讓更多人了解、了解安全,讓人們生活的更加安全。

繼續閱讀