天天看点

基于Serverless服务构建千万车辆数据实时处理的车联网业务

作者:华为云开发者联盟
2024年6月22日上午,在华为开发者大会2024 “Deep Rooted in Tech, Lead the Future” 海外高峰论坛上,国内外嘉宾和专家齐聚一堂,交流华为领先技术及优秀行业案例。此间,华为云PaaS产品部海外产品总监肖振华在 “A Leading Global Automaker's Serverless Approach to Real-Time IoV Data Processing for Tens of Millions of Vehicles” 议题中分享了华为云FunctionGraph函数工作流在世界销量领先车企的实践故事,表示:

世界顶级汽车制造商使用FunctionGraph构建了一个无服务器的loV平台,在可扩展性、稳定性、速度和并发性方面都很出色,资源利用率提高了50%。

基于Serverless服务构建千万车辆数据实时处理的车联网业务

当前,汽车行业的车联网业务对于车企来说具有提升产业竞争力和创新能力的重要意义,IDC预测,到2025年全球网联汽车规模为7,830万辆,全球智能网联功能乘用车的新车渗透率已经超过50%。车联网作为车企的核心系统具备高并发车辆接入的特征,同时汽车的接入具备典型的波峰波谷特征,早晚高峰接入量大。

为了支撑未来10年内能够满足6700万接入车辆的业务诉求,世界销量领先的大车企构建了自己的全生命周期车辆管理平台,该平台要能够承载分钟级车辆数据上报,每天100T的数据增量,支撑至少10PB级以上的存量。构建支持千万车辆接入稳定的车联网系统是一个巨大的挑战,尤其是对于主要能力在研发制造而非IT的车企,必然面临:运行费用高、法规等保等新要求、业务复杂、运维繁杂等挑战,通过对业务痛点及构建诉求的分析,该车企发现Serverless 化的系统架构将是一个合适的,现代化的先进的技术选型。

华为云结合了该企业和其它车企使用场景和经验(以及华为Serverless 产品特性) 给出了Serverless车联网的参考架构

基于Serverless服务构建千万车辆数据实时处理的车联网业务

华为云为该车企量身定做的Serverless车联网参考架构图示

方案场景

接收来自车端的数据进行处理后落入华为云大数据数据,AI平台等进行进一步处理。

方案设计

根据终端设备,在数据的数据接入层选用APIG或IoTDA。无论是APIG还是IoTDA接入数据都可以直接流转到FunctionGraph华为云的函数计算产品。用户的业务代码部署在FunctionGraph,被数据触发执行后,部分写入OBS,数据库等,完成处理。也可以将整个处理流程,切分为多个函数程序,第一个函数处理完成的数据写入消息队列,再触发下一个函数处理,以解耦业务流程。最终数据落入到存储和其它业务系统。

方案优势

高弹性,业界领先分钟级 5000+ 函数实例弹性:FunctionGraph 提供了更快的扩容能力以使用户业务可以稳定运行。FunctionGraph的核心能力就是根据流量进行快速且合理的弹性实例。(1)通过涵盖节点,资源池,函数三层的智能、分层资源预热,使得车联网业务更快的获得资源处理业务,(2)通过自研的SnapShot预加载能力,加速函数的冷启动(3)瞬时的分层调度算法能够将流量根据集群情况进行调度,使得多个集群弹性能力可以叠加使用。在本次实践中,FunctionGraph可以达到5000+实例每分钟的速度去扩容实例对单一用户。更好的支撑千万级车辆接入的波峰波谷场景。

基于Serverless服务构建千万车辆数据实时处理的车联网业务

“高弹性”图示说明

高稳定:更健壮的系统, 车联网业务端到端3w+QPS 0错误。车联网依托的计算平台要有足够稳定才能保证上层业务稳定,客户在运行期间每日数十亿调用,可以做到单日0报错。这基于客户良好的工程也需要平台的高度稳定。在FunctionGraph函数工作流服务层面, FunctionGraph函数工作流天然管控和业务面都是多AZ的高可用设计,客户的请求可能在多个AZ执行,在出现异常后基于系统和用户配置进行重新调度,这保障了云服务和用户的高可用性。做到天然支持容灾,1人即可完成千万级车联网的运维工作。

基于Serverless服务构建千万车辆数据实时处理的车联网业务

“高稳定”图示说明

高并发&低时延:更快的 10GB/s 数据秒级实时处理。为了更好地支撑用户低时延数据处理的诉求,华为云团队帮助客户选型了FunctionGraph函数工作流的单实例多并发能力。该特性允许一个函数实例可以处理多个请求,在增大单位资源下请求吞吐量的同时进一步降低了用户冷启动时延。从而可以把更多的资源放在处理及消费业务上。通过多实例消费能力,可以减少数据在函数处理过程中的堆积,从而从业务侧感受到实实在在的加速。在车联网迁移到FunctionGraph函数工作流过后时延由原平台的分钟级到秒级同时,并行执行也带来了函数处理时长的降低,相比未使用单实例多并发特性时,时延降低超20倍。

基于Serverless服务构建千万车辆数据实时处理的车联网业务

“高并发&低时延”图示说明

综上,Serverless在车联网场景,助力企业简化开发和部署,实现快速地扩展和低成本。华为云FunctionGraph函数工作流能帮助企业将TTM从几周缩短到几天,大大降低了成本,将资源利用率提高了50%,并实施毫秒级的容量扩展以应对流量高峰,帮助企业构建具有高弹性、稳定性、并发性和低延迟的服务系统。

关注#华为云开发者联盟#点击下方,第一时间了解华为云新鲜技术~

华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云

继续阅读