天天看点

欧洲高性能计算机能力一瞥

作者:i905sina

高性能计算(HPC)通常是指被称为“超级计算机”的计算机系统,具有极高的计算力,能够高速解决非常复杂的问题。运行成本很高,因为它们在国家安全(例如核模拟)、科学和医学研究以及气候建模中都有用途。另外,大数据的兴起和训练人工智能(AI)都需要强大的计算能力。今天,美国的计算机和处理器公司主导着欧洲市场,而中国则开发着本土的计算能力。欧洲正在寻求通过发展其工业基础来迎头赶上,但也面临着工业、技术和政治等内部障碍。

高性能计算趋势

高性能计算机的概念出现1980年代末至1990年代初,随着大规模并行处理的出现,超级计算机开始构建具有数十万个处理内核。下图显示了超级计算机计算能力从1990年代开始的增长速度。

欧洲高性能计算机能力一瞥

HPC术语中的计算能力是以每秒浮点运算数(flop/s)来衡量的。虽然它以前以

gigaflop/s为单位来衡量,但现在计算机能力以petaflop/s为单位衡量,并且很快(可能到2021年底)将达到exaflop/s。就规模而言,千万亿次超级计算机的功能大约是高端笔记本电脑的一百万倍

历史上,政府一直在计算机技术的发展过程中发挥着重要作用,尤其是HPC技术。尽管近几十年来,计算机芯片的发展由私营部门推动,尤其是智能手机行业。今天公共部门仍然是计算能力的主要消费者。2018年,在欧洲,超过90%的HPC运行由大学或学术研究中心完成,而其余10%用于商业目的和最终用户。而对于国家使用而言,则主要用于国家安全用途。超级计算机可以用于设计、开发、制造和测试武器(包括核武器)和武器平台。

由于超级计算机具有双重用途,因此自1990年代以来它们一直受到出口限制。今天,由于对知识产权的担忧,中美之间的竞争明显出现在HPC领域。2021年4月,拜登政府将几家涉及HPC的实体添加到实体清单中,其中包括针对中国的国家超算中心(参与高超音速飞行器的仿真)。这会阻止美国技术向中国出口。

算力的全球分布

在全球范围内,少数国家拥有强大的超级计算能力。中国和美国领先,其次是二线HPC强国:日本、德国、法国、荷兰、爱尔兰、英国和加拿大(见表下)

欧洲高性能计算机能力一瞥

从公司来看,HPC领域排名前三的厂商分别是联想(中国,全球第一,市场份额36.8%)、浪潮(中国,11.6%)、惠普企业(HPE,美国,9%)、中科曙光(中国,7.8%)和ATOS(法国,7.2%)。如果我们将HPE于2019年收购并占据6.4%市场份额的Cray包括在内,HPE以17.4%的份额上升至第二位。如果看计算机性能而不是市场份额,情况就会发生变化。第一大家是富士通(日本,19.8%)。Fugaku于2021年6月亮相,是世界上最强大的机器。它的威力是第二强的三倍。

除了前十名之外,我们还发现大型数字公司,特别是云服务提供商,如MicrosoftAzure和AmazonWeb

下一个级别

迈向Exascale级别的机器

目前,高性能计算的特点是百亿亿级的发展竞赛。Exascale计算机每秒将能够执行10亿次(1quintillion)的运算。换句话说,Exascale机器的功能将是迄今为止世界上最强大的机器的两倍,比最好的欧洲机器强大二十倍。百亿亿级机器将在核电研究(例如下一代核弹头)、气候科学(例如温度变化后果的预测)、高分辨率气象学和海洋学等特定领域的模拟和3D可视化、生物和医学研究(例如心脏生理学)方面发挥重要作用。一个国家在世界算力排名中的位置也是国家主权的体现。

中国和美国分别在2021年末和2022年投入自己的百亿亿级机器计划。2015年7月,美国前总统巴拉克·奥巴马(BarackObama)发起了一项国家战略计算计划,呼吁加速开发一个百亿亿级计算系统计划——HPECray计划。2021年底HPECray计划交付了其第一台百亿亿级计算机到橡树岭国家实验室(ORNL,隶属于美国能源部),并在2022年实现全面的用户运营。ORNL已经举办了峰会,该实验室被评为2018‑2020年拥有世界上最强大的机器的实验室。虽然2001年中国还没有一台超级计算机,但2016年中国在全球超级计算机的性能和数量方面超过了美国。

今天,中国现在拥有全球最多的Top500超级计算机,尽管其机器总体上不如美国机器性能。中国希望在2021年底拥有第一台基于本土技术的百亿亿次机器,并因此可能成为第一个运行百亿亿次的国家。

此外,北京在其2021‑2025年的“十四五”发展规划中,已将建设10个

国家百亿亿级超级计算中心的目标纳入其中。全球其他国家正在寻求制造百

亿亿次机器,但它们的先进程度低于中国、美国或日本。这份名单包括韩国,它的目标是在2030之前实现本土处理器的国家百亿亿次计算机,而欧洲则寻求在2022年至2023年之前部署百亿亿次计算机。

欧洲的计算能力迎头赶上

2018年,欧洲投资银行(EIB)行长遗憾地表示,“虽然全球对HPC能力的需求有

三分之一来自欧洲工业、中小企业和研究人员,但只有5%的HPC能力由欧洲本土HPC中心提供。“

欧洲计算能力的极限

法国公司Atos‑Bull是欧洲唯一的超级计算机硬件公司。Bull在1964年被通用电气收购并离开。此后法国启动了“计算计划”,以支持法国国家计算能力的出现。Bull最终在1982年被国有化并在1994年重新私有化。最终,Atos在2014年接管了Bull。

在过去的二十年里,Bull和Atos‑Bull一直是超级计算机业务的重要参与者。

自2001年以来,在启动(法国能源和原子能委员会(CEA))核模拟计划五年后,CEA与Bull建立了合作关系,后者于2005年向CEA交付了第一台机器(TERA‑10)。到2012年,Bull拥有三台机器进入世界前20名。今天,Atos‑Bull继续提供CEA与仿真技术,以及供法国武装部队使用。如今,下一代核武器对3D计算的需求正在推动对更强大的计算机的搜索和对百亿亿次机器的需求。

但Atos和其他欧洲公司并没有出现在超级计算机的整个生产周期中。Atos

拥有自己的互连系统(BXI),但处理器依赖于非欧洲制造商:美国公司AMD、英特尔和英伟达。正如Atos的一位代表所建议的那样,该公司在处理单元供应商方面确实不尽人意。然而,法国和欧盟当局已将欧洲供应商的缺失视为一个问题,并寻求替代解决方案。2019年,CEA军事部门负责人估计,虽然CEA一直在与英特尔合作,但未来应该有“一个主权的欧洲处理器”。

另一个问题是公共采购的选择。政府采购计划是HPC硬件供应商利润来源的关键。当公司几乎没有机会向国外市场销售时,尤其如此。今天,美国和中国对外国供应商保持市场关闭。在美国,国内产业目前在购买超级计算机方面受到“购买美国货”要求的大力支持。

因此,像Atos这样的欧洲公司无法将其机器出口到美国或中国,其市场主要位于欧洲(包括英国)、巴西和印度。而且,与美国或中国不同的是,在欧盟公共采购并不总是有利于本地供应商。令人惊讶的是,CNRS最大和最新的超级计算机JeanZay是HPE制造的,而不是Atos制造的。

另一个限制是欧洲公司缺乏基于云的HPC服务。欧洲的云服务供应商仍然主要

是美国公司。例如,法国公司Atos与GoogleCloud合作,为数据分析和机器学习提供混合云解决方案。这对数据安全来说并非没有问题。因此,EIB推动了欧洲云产品的开发,包括HPC应用程序。

最后,欧洲存在资金问题,欧洲投资银行在2018年呼吁对基础设施、大数据访问和量身定制的复杂软件解决方案进行大量投资。MariyaGabriel的调查显示欧洲的数字经济规模与美国、中国或日本相比,欧洲HPC每年的资金缺口为5亿至7.5亿欧元。该报告的一个结论是,欧洲没有一个国家本身有能力可持续地建立以及维持百亿亿级HPC的生态系统。;

更多计算能力的计划:

EuroHPC联合承诺

随着大规模计算变得越来越普遍,HPC已成为近年来大多数欧盟成员国的优先考虑问题。从2015年开始,在美国和中国都制定了HPC计划之后,这一

需求变得更加紧迫。因此,欧洲也面临着以百亿亿级计算机为目标的压力,并使欧洲不仅成为消费者,而且成为计算能力的生产者。在欧洲,现任欧盟工业专员、当时的Atos首席执行官蒂埃里·布雷顿(ThierryBreton)强烈支持该倡议。结果是欧洲范围内的新HPC倡议和资金,作为欧洲数字基础设施更

广泛议程的一部分。

欧洲正在进行两项计划:一项建造欧洲超级计算机的计划,包括被称为EuroHPC联合承诺的百亿亿次高性能计算,以及一项开发用于超大规模计算的欧洲微处理器的计划,称为欧洲处理器计划或EPI。2017年,七个成员国德国、葡萄牙、法国、西班牙、意大利、卢森堡和荷兰。签署了建立EuroHPC联合承诺的声明。法律和资助实体成立于2018年。在EuroHPC于2020年9月成立之前,欧盟委员会的DGConnect做了很多初步工作。与此同时,两个私人参与者(大数据价值协会和ETP4HPC)加入了公众‑私人伙伴关系,以及包括挪威和土耳其(但不包括英国)在内的几个国家‑达到33个成员。

在2019‑2021年的初始阶段,JU的预算为10亿欧元。2021年7月13日,欧洲理事会通过了一项关于建立EuroHPC的法规,从而允许现有活动继续进行。新法规将增加该倡议的预算、人员配备和任务。2021‑2027年的EuroHPC资金(由参与国匹配)将来自DigitalEurope(20亿欧元)、HorizonEurope(9亿欧元)和ConnectingEurope设施(2亿欧元)。

这笔资金将用于双重目标:在欧洲部署一流的超级计算基础设施以满足用户的需求,并为欧洲的HPC技术开发一个研究和创新生态系统。JU的目标是到2023年部署两台exascale机器,由法国和德国主导建设。在法国,CEA和Atos‑Bull之间的GENCI的合作正在推动HPC向exascale和post-TERA级别计算能力的发展。

2020年11月,他们选择集成Fugaku的富士通A64FX处理器技术,开发法国第一台百亿亿次计算机。

在建造exascale机器之前,已经选择了欧洲各地的八个托管实体来托管五台

petascale和三台preexascale机器。5台petascale机器每台的价值将在1200

万至3000万欧元之间。第一台计算机是Atos制造的Vega,于2021年3月在斯洛文尼亚落成。

该计划还包括三台pre‑exascale机器(1017flop/s)。目前正在建设中的两个:一个,芬兰的LUMI(CrayHPE,带有AMDCPU和GPU);第二个是意大利的Leonardo(使用NvidiaGPU建造的Atos),分别价值1.44亿欧元和1.2亿欧元。第三个是MareNostrum,将位于巴塞罗那超级计算中心。

欧洲超级计算机的未来:

能源效率和技术主权?

EuroHPC机器的使用比例将分配给欧洲科学、工业和公共部门用户,以最大限度地发挥这些系统的能力。事实上,与部署基础设施同步的EuroHPC的第二个目标是为欧洲的HPC开发一个R&I生态系统,其中包括硬件和软件能力、应用程序、培训和技能。该生态系统反过来应该有助于欧洲的双重议程:绿色协议和技术主权。

能源消耗正在成为计算能力和数据经济扩展的主要问题。计算能力和能源的巨大增长在很大程度上归功于机器学习程序的训练。除了环境考虑之外,这还具有经济成本。超级计算机每年的电费高达数千万欧元。Fugaku耗电量为30至40兆瓦,相应的年成本高达每年4000万欧元。

作为欧洲绿色协议的一部分,任何在欧洲开发高性能计算的计划都必须解决能源效率问题。欧洲已经在Green500排名中处于有利位置,这是Top500的另一个排名,该排名着眼于超级计算机的功率效率(以GFlops/Watt为单位):前10名中有四台Atos‑Bull机器,这比常规计算算力排名中只有一台Atos‑Bull机器进入前10名优势明显。欧盟打算继续沿着这条道路前进。作为EuroHPC的一部分,申请托管机器的实验室必须在能源效率使用方面堪称典范。例如,正在芬兰安装的LUMI将由附近河流的水力发电。

在处理器方面,欧洲的绿色协议和技术主权这两个议程正在走到一起。

欧洲低功耗微处理器

被称为欧洲处理器倡议(EPI)的欧洲低功耗微处理器项目于2015年启动,并

于2018年正式启动。它聚集了28个公共和私人合作伙伴,包括CEA、意法半导体、宝马以及各种大学和研究实验室,并由Atos协调。EPI将为HPC应用创建高级处理器。第一代处理器的主要指导方针于2019年6月宣布,随着负责芯片设计的初创公司SiPearl的运营推出,这一愿景进一步实现。第一个处理器原型Rhea(主要基于英国公司ARM的设计)于2020年1月推出。SiPearl希望在2022年推出Rhea,并在2023年按时交付欧洲百亿亿级超级计算机。SiPearl旨在为自动驾驶汽车、边缘计算和数据中心等其他更大的市场开发其他微处理器。

EPI的处理器旨在实现极高的能效:SiPearl承诺它将把超级计算机的能耗减

半。原则上,它们还旨在实现一个政治和战略目标,因为它们“在欧洲被自豪地确立为欧洲的技术主权”。然而,在这一点上,欧洲企业面临着投资不足:目前HPC部门主要由国家或欧洲预算和赠款提供资金,但缺少私人投资以使其可行。最后,值得注意的是,处理器确实将在欧洲设计,但芯片很可能由台积电制造。

继续阅读