張亞勤 ：AI有風險，但可以讓它善良 丨AI時代的人類意見

親愛的讀者：

很高興在歲末年終時刻，通過這封信，與你分享我和清華大學智能産業研究院（AIR）對于未來AI（人工智能）世界的思考。在即将過去的2023年，以生成式AI為代表的人工智能技術激蕩人心，為這個充滿了不确定與沖突的時代帶來了新的希望。誠如《經濟觀察報》的朋友們所言，今天，我們又站在了新的轉折點之上。再過十年，我們的世界會變成什麼模樣？

我對于AI的能力以及發展潛力非常有信心。未來十年，AI會無所不在。它不僅影響我們每天的衣食住行、學習、生活和工作，也會影響我們的企業、社會和政策。同時，人工智能在大部分領域會達到和人類類似的能力，甚至會超過人類。

在北京亦莊，現在經常能看到無人車跑在路上，但大部分無人車中仍坐着安全駕駛員。再過十年，真正無人的無人車會變成常态。十年後，人形機器人會出現在一些家庭當中，它會像朋友或助手一樣監測你的身體狀況，也可以與你聊天。我們居住的社群會有機器人做保安，以後很有可能警察也是機器人。現在，一些醫院已經用機器人讀取患者的影像片。十年後，我們看到的機器人會比人類更多，機器人的數量會超過人類。

十年之内，上述AI場景會逐漸發生，可能應用範圍還不太廣泛，但會慢慢出現。

同時，人工智能的另一種發展形式——生物智能，也将對社會産生很大颠覆。如果有人存在視力、聽力方面的問題，或是其他身體方面的缺陷，生物智能都可以幫他修複。在AI幫助下，人們可以用腦電波、心電波去控制某個物體。比如，現在人們彈鋼琴，需要手指在鍵盤上操作。十年後，人們可以用腦電波控制機械彈奏鋼琴。類似操作可以發生在很多場景，如操縱假肢寫字、倒咖啡、握手，完全像正常人類的手，還可以讓假肢跑步、爬山、攀岩，它可以比人跑得更快。

目前，一些科學家已經在做生物智能方向的科研。十年後，這些科研技術會變成産品，并真正進入人類社會。

如果用更久遠的眼光看AI，五十年或百年之後，或許還會有一種新的生命體誕生。它将是矽基生命和碳基生命的結合體，把人類和機器融為一體。屆時，AI讓人類能力更強了，成為某種程度的“超人”。

現在聽起來似乎很奇妙或不可思議，但我們不能低估AI。我們現在看到的AI，隻是它的冰山一角，盡管已經很了不起，但它仍然很幼小。

如果用網際網路發展脈絡來比喻，現在的AI剛剛發展到網景時刻，剛剛有了一個底層系統，讓大家能用起來。網景之後，網際網路世界有了IE（浏覽器），有了門戶、社交、電商、搜尋，然後網際網路行業才真正興起。未來AI會像網際網路一樣，把所有行業重新優化一遍。

就像Windows是PC（個人計算機）時代的作業系統，Andriod/iOS是移動時代的作業系統，大模型将是人工智能時代的“作業系統”，正在重構應用生态和重塑産業格局。與移動網際網路時代相比，大模型時代的産業機會至少增長十倍。與PC時代相比，大模型時代産業機會至少增長了一百倍。

不過，現在有一件非常重要的事，也是我今年在多個場合提到過的，但一些從業者仍不夠重視的AI風險問題。我想再次強調這件事。

未來世界可以分為：資訊世界、實體世界和生命世界。這三個世界都可能面臨AI失控的風險。

在資訊世界中，AI帶來的風險相對較小，一類風險是胡說八道，一類風險是造假。失控資訊帶來的風險是可控的，最嚴重的後果是人們被騙錢。以現有法律或是出台一些新的法律法規，是可以規避問題的。

在實體世界中，未來AI會與機器人、無人車、無人機、IT（資訊技術）裝置等連在一起，這些機械裝置的數量可能是人類的上百倍甚至更多。在實體世界中，AI如果失控将會是大災難。一旦控制不好，它會給人類帶來生存危機，就像核武器或新冠疫情給人類帶來的生存危機一樣。

生物世界的AI風險最大。通過生物智能，人類大腦和AI用晶片或傳感器進行連接配接，它的好處是可以及時監測人類身體、預防或治療疾病。但一旦出現問題，生物智能若失控或被不法分子利用，造成的損失将不可想象。

目前，技術界存在一種想法，認為應該技術先行，先把AI大模型、架構、算法等技術做完後，再讓政府部門監管。我不認同這種做法，應該一開始就讓政府部門參與，大家一起促進技術發展，否則等到技術完善後才監管，可能就來不及了。

同時，我也建議最優秀、最聰明的人做治理方面的研究，開發治理技術。我們可以讓人工智能比人類更聰明、更有能力，但更重要的是讓它更善良、更有創意，才能符合我們的價值觀，才不會犯大錯。最重要的是要打造一個善良的AI。

這是人類可以做到的事，就像我們教育小孩，從小讓他學習，讓他以後去創新、探索，但最重要的是要有一顆善良的心。這裡面當然會有很多挑戰，但這是AI技術人員、創業者和大企業應該要擔負的責任。

如同阿西莫夫機器人三定律一樣，人工智能也應該有一些基本發展原則。幾個星期前，我和兩位圖靈獎獲得者YoshuaBengio（約書亞·本吉奧）、姚期智先生在英國一起召集了一個小型研讨會，并提出了一些具體建議。

在政府監管中，我們建議對超過某些能力門檻值的人工智能系統，包括其開源的副本和衍生品，在建立、銷售與模型使用上進行強制注冊，為政府提供關鍵但目前缺失的對新興風險的可見性。

我們同時建議，應規定一些明确的紅線，并建立快速且安全的終止程式。一旦某個人工智能系統超越此紅線，該系統及其所有的副本須被立即關閉。各國政府應合作建立并維持這一能力。

對人工智能開發者，我們建議，前沿人工智能系統必須明确與其設計者的意圖、社會規範與價值觀相對齊。它們還需在惡意攻擊及罕見的故障模式下保持魯棒。我們必須確定這些系統有充分的人類控制。

此外，我們呼籲領先的人工智能開發者承諾，至少将10%的人工智能研發經費用于人工智能安全研究，同時呼籲政府機構至少以同等比例，資助學術與非營利性的人工智能安全與治理研究。

以上這些控制AI風險的措施，應該在十年之内完成，如果十年之後再做，可能就晚了。

我們人類擁有兩種智慧：發明技術的智慧和把握技術發展方向的智慧。

作為一個樂觀主義者，我堅信我們能保持這種平衡，讓人工智能的創新和技術為人類的善良和福祉服務。

張亞勤

2023年12月

（作者系中國工程院院士、清華大學智能産業研究院（AIR）院長，根據作者口述整理）