新智元原創
作者：克雷格、肖琴
【新智元導讀】最近，南韓科學技術院因為與軍工企業“韓華 Systems”合作研發自主武器，遭到來自全球20多個國家的50多名AI學者聯名抵制，其中包括Yoshua Bengio、Geoffrey Hinton以及南大計算機系教授周志華。研發自主武器将會加速AI軍備競賽，像這樣的技術可能導緻更大規模的戰争加速到來。科學不應該成為戰争的幫兇和附庸工具，向這些學者們緻敬！
最近，南韓科學技術院大學（KAIST）遭到了全球20多個國家、50多名高校頂尖AI學者的集體抵制。
來自蒙特利爾大學Yoshua Bengio、多倫多大學Geoffrey Hinton、瑞士人工智能實驗室Jürgen Schmidhuber、加州大學伯克利分校Stuart Russell、中國香港中文大學的華雲生教授、中國香港科技大學的楊瓞仁教授、南京大學的周志華教授等人，通過新南威爾士大學官網，向KAIST發出一封公開信：
停止研發自主武器！
KAIST是南韓“清華北大”級名校，以擅長理工技術著稱，為何遭到這些學者們的反對？
南韓KAIST四項AI實驗引發擔憂，全球50多名頂級專家聯名抵制
據英國《金融時報》報道，今年2月以來，KAIST一直在“國防和人工智能融合研究中心”進行四項實驗，分别是：
- 基于人工智能的指揮和決策系統；
- 水下無人機導航算法；
- 基于AI的智能飛行器訓練系統；
- 基于AI的對象跟蹤和識别技術。
就學術界來說，這些實驗看上去很正常。但不正常的地方在于，“國防和人工智能融合研究中心”是KAIST與南韓軍工企業“韓華 Systems”合作成立，而韓華Systems的母公司韓華集團（Hanwhua）因為制造集束彈藥被聯合國列入黑名單。
Hanwha官網
這50多名學者們擔心，KAIST研發自主武器将會加速AI軍備競賽，像這樣的技術可能導緻更大規模的戰争加速到來。他們在信中警告，如果成功研制自主武器，戰争速度之快、戰争規模之大，将是前所未見的，也有可能成為恐怖分子的武器。
在對KAIST的公開信中表示，他們将抵制與KAIST的任何合作，也不會接待KAIST 派出的訪客，以及停止所有與 KAIST 的接觸，直到KAIST的院長承諾該中心不會研發無需人類操縱的自主武器。
簽署聯名抗議信的學者來自英國劍橋大學、美國康奈爾大學、加州大學伯克利分校、中國香港中文大學、中國香港科技大學、南京大學等五十二所學府，這些學者在人工智能和機器人技術研究方面具上司地位，包括蒙特利爾大學Yoshua Bengio、多倫多大學Geoffrey Hinton、瑞士人工智能實驗室Jürgen Schmidhuber、加州大學伯克利分校Stuart Russell、中國香港中文大學的華雲生教授、中國香港科技大學的楊瓞仁教授、南京大學的周志華教授等。
公開信發出後，KAIST的總裁Sung-Chul Shin表示，聽到抵制的消息他感到很難過。“我想重申，KAIST沒有任何意圖參與開發緻命的自主武器系統和殺手機器人。”Shin在一份聲明中說。
“作為一個學術機構，我們非常重視人權和道德标準，”他補充說。“我再次重申，KAIST不會進行任何與人類尊嚴相反的研究活動，包括自主武器。”
韓華集團上了聯合國“黑名單”，學術機構與其合作甚至能惡化半島局勢
“你可以用人工智能做很多偉大的事情來挽救生命，包括在軍事中。” 公開信的發起者、新南威爾士大學教授Toby Walsh說，例如軍事方面，AI可代替人類執行諸如清除地雷的危險任務，但公開宣布研究目的是為了開發自主武器，卻引起極大憂慮。
“這是一個非常受人尊敬的大學與一個道德上可疑的合作夥伴進行的合作，這種合作将繼續違反國際規範。”
KAIST是南韓頂級名校，在2016年QS世界大學排名中居亞洲第6、世界第43位。
KAIST官網
早在2014年，KAIST就研發出名為Raptor的雙腿機器人，當時它的速度可以達到46公裡/小時，甚至為其配備了一條類似于爬行動物的尾巴以達到平衡。
強大的科研能力，如果被用到軍事領域，自然會引起社會關注和質疑，更何況，Hanwha Systems被Toby Walsh認為是一家“道德上可疑”的公司。
而早被聯合國列入黑名單的韓華集團，曾制造集束彈藥。根據維基百科，集束炸彈是将小型炸彈集合成一般空用炸彈的型态，利用數量的特性增加涵蓋面積和殺傷範圍。在叙利亞戰争、利比亞内戰期間都出現過使用集束炸彈的情況，殺傷力極大。
韓華集團同時也是南韓最大武器生産商之一，根據《集束彈藥公約》（CCM），韓華生産的集束炸彈，被一百二十個簽署國禁止使用，不過南韓、美國、俄羅斯和某些國家并沒有簽署該項國際條約。
集束炸彈（圖據stopclustermunitions.org）
另據英國衛報報道，南韓的Dodaam Systems公司已經生産出一種完全自主的“作戰機器人”，它是一種靜止的炮塔，能夠自主探測3公裡外的目标。客戶包括阿拉伯聯合酋長國和卡達，并且已經在朝韓邊界上進行了測試。
Toby Walsh教授認為，從更宏觀的角度來看，KAIST與韓華合作發展自主武器，也會使北韓半島的安全局勢更加惡化。
人工智能在世界各地的軍隊中的使用引發了人們對類似“終結者”的擔憂，并提出了關于這種武器的準确性以及區分朋友和敵人的能力的問題。在下周，聯合國将在日内瓦舉行關于自主武器的會議，這些來自20多個國家的50多名學者，希望能夠徹底禁止殺手機器人。
周志華為内地唯一一個署名的學者，Hinton：不能讓希特勒這樣的人來負責自動駕駛飛機
在50多名署名公開信中，南京大學人工智能學院院長、計算機系教授周志華是唯一一名内地學者，此外公開信的簽署人還包括中國香港中文大學的華雲生教授、中國香港科技大學的楊瓞仁教授等。
周志華教授
新智元向周志華教授詢問關于參與KAIST公開信一事，截止發稿時，周教授尚未回複。不過，去年5月，National Science Review （《國家科學評論》）發表了一篇周志華教授采訪美國俄勒岡州立大學計算機科學榮譽教授、AAAI前主席、國際機器學習學會 IMLS 創始會長 Thomas Dietterich 的采訪，其中提及了自主武器系統的觀點。
當時周志華向Thomas Dietterich提問：随着機器學習快速發展，人類的工作會受到機器的威脅嗎？你可以談一下“奇點論”和進階AI的威脅的觀點嗎？
在回答“進階AI的威脅”的部分，Thomas Dietterich不認為AI技術本質上是安全的、我們沒有什麼可擔心的。相反，随着計算機變得更加智能，我們把駕駛車輛，管理電網或打擊戰争（自主武器系統）等高風險的決策交給了計算機。但是“今天的機器學習技術還不夠可靠，也不夠強大，不足以被傳遞這樣危險的決策。我非常擔心，隻要機器學習元件中存在一點錯誤，AI技術的過早部署都可能導緻重大的生命損失。”
而在今年初，周志華曾在“知識分子”上撰文稱，“嚴肅的研究者就不該去觸碰強人工智能”的觀點，也同樣值得再次關注。
周志華教授認為，圖像識别、語音識别等方面，機器已經達到甚至超越了人類水準，但它們都是在考慮某種特定類型的智能行為，而不是“完全智能”行為，而“如果目标是制造“工具”，那麼考慮特定類型的智能行為就已足夠，自主心智、獨立意識、甚至情感之類的東西，根本無須考慮。”
除了周志華外，“AI大神”Geoffrey Hinton也曾發表過“比起智能機器人來，更擔心自主武器”的觀點。
Geoffrey Hinton
對Geoffrey Hinton來說，機器智能已經具備了“制造自主武器的能力，而且它們是真正的危險”。他認為，如果像希特勒這樣的人負責大型小型無人駕駛飛機，“那将是多麼可怕的事情，我們需要像日内瓦公約這樣的條約來限制自主武器的使用。”
2015年7月，來自世界各地的數千名的人工智能研究人員簽署了一封公開信，呼籲聯合國禁止超出人類控制的攻擊性自主武器。2017年8月，有超過100位AI和機器人公司的創始人為此簽署了類似的公開信，要求聯合國就此問題采取行動。
迄今為止，已有22個國家要求禁止自主武器。
曾經“不作惡”的谷歌與五角大樓合作遭3100名員工聯名反對，AI不能用來殺人
明裡暗裡，人工智能研究正越來越多地被世界各地的軍隊用于國防應用。
昨天，紐約時報刊登了由數千名谷歌員工簽署的内部抗議聯名信，反對谷歌公司參與美國五角大樓的一項名為Project Maven項目，即利用人工智能解讀視訊圖像。該技術有可能被用于提高無人機打擊的準确度。
這封目前正在谷歌内部流傳的信件獲得了超過 3100 份簽名，曾經以“不作惡”為口号的谷歌，也正面臨尴尬的處境，反映出矽谷和美國聯邦政府之間的文化沖突。
随着尖端人工智能技術被越來越多的用于軍事目的，這種沖突未來可能進一步加劇。
事實上，人們沒有辦法阻止AI能力進入攻擊性武器。即使世界上最優秀的研究人員拒絕研究攻擊性武器的技術，其他人也可以輕易地将這些已被驗證的模型“現拿現用”，将其直接應用于新的應用程式。這并不是說武器方面的應用沒有其他需要解決的問題，但開發核心的AI能力是開啟這些應用的關鍵。
人工智能是“軍民兩用”（ dual-use）的一個特别棘手的問題。一個很好的例子是核理論，它可以用于核磁共振成像，進而大規模改善人類醫療保健，或者用于為我們的社會提供核反應堆的動力，但它也可以被用于制造大規模緻命性的炸彈，殺死無數的人。
AI具有挑戰性，因為它不像核武器那樣需要獨特的硬體來向其他力量表明其發展。今天，我們可以使用消費級無人機、機器槍觸發器和從GitHub下載下傳的計算機視覺算法來制造自主殺人無人機。
除非徹底停止開發AI能力，否則AI技術還将繼續發展。
換句話說，AI研究人員會殺人，不管他們喜歡與否。但涉及到戰争倫理問題時，需要人類文明共同推動。
向反對自主武器的AI科學家們緻敬
參考連結：
https://www.engadget.com/2014/05/30/velociraptor-robot-kaist/
http://www.stopclustermunitions.org/en-gb/cluster-bombs/use-of-cluster-bombs/a-timeline-of-cluster-bomb-use.aspx
https://www.bbva.com/en/geoff-hinton-im-concerned-autonomous-weapons-intelligent-machines/
https://techcrunch.com/2018/04/05/should-ai-researchers-kill-people/
https://zhuanlan.zhihu.com/p/33340973
https://www.theguardian.com/technology/2018/apr/05/killer-robots-south-korea-university-boycott-artifical-intelligence-hanwha
https://techcrunch.com/2018/04/05/should-ai-researchers-kill-people/
https://www.cse.unsw.edu.au/~tw/ciair//kaist.html