张亚勤 ：AI有风险，但可以让它善良 丨AI时代的人类意见

亲爱的读者：

很高兴在岁末年终时刻，通过这封信，与你分享我和清华大学智能产业研究院（AIR）对于未来AI（人工智能）世界的思考。在即将过去的2023年，以生成式AI为代表的人工智能技术激荡人心，为这个充满了不确定与冲突的时代带来了新的希望。诚如《经济观察报》的朋友们所言，今天，我们又站在了新的转折点之上。再过十年，我们的世界会变成什么模样？

我对于AI的能力以及发展潜力非常有信心。未来十年，AI会无所不在。它不仅影响我们每天的衣食住行、学习、生活和工作，也会影响我们的企业、社会和政策。同时，人工智能在大部分领域会达到和人类类似的能力，甚至会超过人类。

在北京亦庄，现在经常能看到无人车跑在路上，但大部分无人车中仍坐着安全驾驶员。再过十年，真正无人的无人车会变成常态。十年后，人形机器人会出现在一些家庭当中，它会像朋友或助手一样监测你的身体状况，也可以与你聊天。我们居住的社区会有机器人做保安，以后很有可能警察也是机器人。现在，一些医院已经用机器人读取患者的影像片。十年后，我们看到的机器人会比人类更多，机器人的数量会超过人类。

十年之内，上述AI场景会逐渐发生，可能应用范围还不太广泛，但会慢慢出现。

同时，人工智能的另一种发展形式——生物智能，也将对社会产生很大颠覆。如果有人存在视力、听力方面的问题，或是其他身体方面的缺陷，生物智能都可以帮他修复。在AI帮助下，人们可以用脑电波、心电波去控制某个物体。比如，现在人们弹钢琴，需要手指在键盘上操作。十年后，人们可以用脑电波控制机械弹奏钢琴。类似操作可以发生在很多场景，如操纵假肢写字、倒咖啡、握手，完全像正常人类的手，还可以让假肢跑步、爬山、攀岩，它可以比人跑得更快。

当前，一些科学家已经在做生物智能方向的科研。十年后，这些科研技术会变成产品，并真正进入人类社会。

如果用更久远的眼光看AI，五十年或百年之后，或许还会有一种新的生命体诞生。它将是硅基生命和碳基生命的结合体，把人类和机器融为一体。届时，AI让人类能力更强了，成为某种程度的“超人”。

现在听起来似乎很奇妙或不可思议，但我们不能低估AI。我们现在看到的AI，只是它的冰山一角，尽管已经很了不起，但它仍然很幼小。

如果用互联网发展脉络来比喻，现在的AI刚刚发展到网景时刻，刚刚有了一个底层系统，让大家能用起来。网景之后，互联网世界有了IE（浏览器），有了门户、社交、电商、搜索，然后互联网行业才真正兴起。未来AI会像互联网一样，把所有行业重新优化一遍。

就像Windows是PC（个人计算机）时代的操作系统，Andriod/iOS是移动时代的操作系统，大模型将是人工智能时代的“操作系统”，正在重构应用生态和重塑产业格局。与移动互联网时代相比，大模型时代的产业机会至少增长十倍。与PC时代相比，大模型时代产业机会至少增长了一百倍。

不过，现在有一件非常重要的事，也是我今年在多个场合提到过的，但一些从业者仍不够重视的AI风险问题。我想再次强调这件事。

未来世界可以分为：信息世界、物理世界和生命世界。这三个世界都可能面临AI失控的风险。

在信息世界中，AI带来的风险相对较小，一类风险是胡说八道，一类风险是造假。失控信息带来的风险是可控的，最严重的后果是人们被骗钱。以现有法律或是出台一些新的法律法规，是可以规避问题的。

在物理世界中，未来AI会与机器人、无人车、无人机、IT（信息技术）设备等连在一起，这些机械设备的数量可能是人类的上百倍甚至更多。在物理世界中，AI如果失控将会是大灾难。一旦控制不好，它会给人类带来生存危机，就像核武器或新冠疫情给人类带来的生存危机一样。

生物世界的AI风险最大。通过生物智能，人类大脑和AI用芯片或传感器进行连接，它的好处是可以及时监测人类身体、预防或治疗疾病。但一旦出现问题，生物智能若失控或被不法分子利用，造成的损失将不可想象。

目前，技术界存在一种想法，认为应该技术先行，先把AI大模型、架构、算法等技术做完后，再让政府部门监管。我不认同这种做法，应该一开始就让政府部门参与，大家一起促进技术发展，否则等到技术完善后才监管，可能就来不及了。

同时，我也建议最优秀、最聪明的人做治理方面的研究，开发治理技术。我们可以让人工智能比人类更聪明、更有能力，但更重要的是让它更善良、更有创意，才能符合我们的价值观，才不会犯大错。最重要的是要打造一个善良的AI。

这是人类可以做到的事，就像我们教育小孩，从小让他学习，让他以后去创新、探索，但最重要的是要有一颗善良的心。这里面当然会有很多挑战，但这是AI技术人员、创业者和大企业应该要担负的责任。

如同阿西莫夫机器人三定律一样，人工智能也应该有一些基本发展原则。几个星期前，我和两位图灵奖获得者YoshuaBengio（约书亚·本吉奥）、姚期智先生在英国一起召集了一个小型研讨会，并提出了一些具体建议。

在政府监管中，我们建议对超过某些能力阈值的人工智能系统，包括其开源的副本和衍生品，在建立、销售与模型使用上进行强制注册，为政府提供关键但目前缺失的对新兴风险的可见性。

我们同时建议，应规定一些明确的红线，并建立快速且安全的终止程序。一旦某个人工智能系统超越此红线，该系统及其所有的副本须被立即关闭。各国政府应合作建立并维持这一能力。

对人工智能开发者，我们建议，前沿人工智能系统必须明确与其设计者的意图、社会规范与价值观相对齐。它们还需在恶意攻击及罕见的故障模式下保持鲁棒。我们必须确保这些系统有充分的人类控制。

此外，我们呼吁领先的人工智能开发者承诺，至少将10%的人工智能研发经费用于人工智能安全研究，同时呼吁政府机构至少以同等比例，资助学术与非营利性的人工智能安全与治理研究。

以上这些控制AI风险的措施，应该在十年之内完成，如果十年之后再做，可能就晚了。

我们人类拥有两种智慧：发明技术的智慧和把握技术发展方向的智慧。

作为一个乐观主义者，我坚信我们能保持这种平衡，让人工智能的创新和技术为人类的善良和福祉服务。

张亚勤

2023年12月

（作者系中国工程院院士、清华大学智能产业研究院（AIR）院长，根据作者口述整理）