提到归档存储,人们的印象是往往是一盒盒充满历史感的磁带或者满柜子冰冷冷的蓝光光盘。这些磁带或者光盘一旦存储了数据,就意味着数据进入到数据中心某个不起眼的角落中,如没必要将通常会进入到“沉睡”阶段,有些数据甚至几十年都不再被读取使用。
现如今,归档这项拥有多年历史的古老业务,因为各个行业数字化转型步伐的加速,以及云计算技术的普及,正在发生着翻天覆地般的变化。正如UCloud存储平台研发总监吴斌炜所言:“国内一家短视频巨头,一天数据量增长就高达3PB。由于法规的要求,很多业务数据往往需要保存三个月,这家短视频巨头甚至要将数据保存六个月之久。其他像广电行业、电商直播、生物基因等行业都有着类似的情况,归档存储正在成为很多行业的硬需求。”
事实上,在归档存储领域,光盘库厂商和磁带库厂商拥有着多年话语权。但不能忽视的是,云计算的崛起正在改变着归档市场。如今,像UCloud这样的云服务提供商纷纷加码归档存储,必然会给归档存储带来产品技术、使用模式、服务方式等不一样的视角。
面对归档存储这个历史悠久的市场,UCloud大举发力,是要做一个市场的搅局者还是变革者?让我们从冷数据的发展趋势以及UCloud最新的归档存储产品中一窥究竟。
冷数据的“热”时代:归档存储迎来新变革
多年以来,冷数据一直备受“冷遇”。这种“冷遇”一方面是因为冷数据通常是很长时间都用不着,与业务的紧密程度远不及主存储中的热数据;另一方面则是冷数据的保存需要占据相当多的空间和人力成本,用户需要投入较大精力对其进行运维。
冷数据的“冷遇”也造成了归档存储的“低调”,过去只有像档案、金融、税务这些有合规性需求的行业才愿意投入成本。但是这种局面随着近年来数据量的爆炸性增长正在迅速改变,无论是出于合规性需求,还是对于数据价值的挖掘,巨大体量的冷数据都有着极为重要的作用与地位,一个冷数据的“热”时代正在开启。
相关数据表明,到2025年全球新增数据量高达175ZB的同时,真正能够存储下来的数据只有15ZB,数据流失率超过91%。如何将这些有待挖掘价值的庞大数据保存下来就成为未来存储的挑战。
正如UCloud所认为,绝大部分数据经过6个月之后都会变成冷数据,随着数据量的不断增加,存储自动分层将是大势所趋。归档存储未来除了合规性之外,很重要的一点就是面临前所未有的数据量时,如何有效地大幅降低存储成本。
因此归档存储的这些趋势与挑战,也促成了归档存储市场产生了显著变化:
首先,由于各个行业数字化转型加速,业务线上化程度大幅增加,带来了海量数据的增长,也直接驱动了冷数据的归档需求,尤其是诞生了很多像电商、直播、基因工程、自动驾驶等新业务场景对于归档存储的需求,这些新业务场景不仅产生了远超过去传统场景的数据量,也因为政策法规的规定,有着明确的归档合规性要求。
其次,用户在数据归档的方式上也在发生改变。在过去,磁带库、光盘库凭借着容量、能耗、长期成本等方面的优势,成为很多用户在数据归档上的主流选择。但是,云归档的方式近年来开始兴起,逐渐成为用户在数据归档上的又一大选择。
吴斌炜直言:“磁带库、蓝光等方式存在着运维难度大、初期投入成本高、数据离线等挑战。像光盘库比较适合一次性读入的数据归档,一旦遇到需要读取数据,就很难满足用户需求。”
第三,归档市场的参与方也正在迅速增加。除了传统的磁带库、光盘库厂商之外,云服务提供商正在成为归档市场中一股重要的力量。云服务提供商凭借规模化的效应、快速的技术迭代、灵活的使用模式,很容易将运维经验、先进技术、领先产品以云服务的方式输出,从而将云归档的成本持续降低,惠及用户。
“UCloud之所以选择在这个时间点发力归档存储,两个最重要的原因:第一各个行业数据爆炸性增长,归档需求非常大;另外,归档市场的空间很大,但是并没有竞争力特别强的厂商,对于UCloud这样在存储领域有着很深积累的厂商,是非常好的市场机会。”斌炜总结道。
0.024元/GB/月:UCloud如何做到的
针对冷数据和归档存储的需求,UCloud着力打造了新一代归档存储产品。
UCloud新一代归档存储产品是国内首次SMR机械硬盘+JBOD高密度机型在云归档中的落地应用,存储单价突破行业定价区间,实现了0.024元/GB/月,比市场同类型产品价格下降30%,采用了大比例EC、全链路CRC可以保障数据11个9的可靠性,快速故障切换让数据可用性达到99.9%以上。
在人们的固有印象中,归档存储采用传统机械硬盘虽然能够带来容量、数据读取、运维等方面的优势,但是硬件成本和能耗会让其运营成本远高于采用磁带库或者光盘库。事实上真是如此么?吴斌炜透露,0.024元/GB/月这个价格极富竞争力,除了比同类型产品价格低很多之外,也能够与过去传统归档方式的价格相媲美。
那么,UCloud新一代归档产品是如何突破成本极限的?
首先,UCloud新一代归档存储在硬件层面做出大胆之策,在国内首次采用了西部数据的高密JBOD机型和SMR盘。相比于传统CMR硬盘,SMR硬盘的磁道是按Zone呈现的叠瓦式分,最直接的好处就是更高的存储密度,可以存储更多数据。UCloud表示,与36盘传统机型相比,采用SMR硬盘的高密机型单位机架存储容量提升5.375倍,磁盘数量增加59%,单块磁盘存储空间提升150%。
“新一代归档存储是UCloud对象存储下面的一个产品,对象存储非常适合图片、文本、音视频等非结构化数据的存储。”吴斌炜透露道。
其次,为了更好地利用硬件优势,UCloud新一代归档存储在软件层面也进行了大胆创新。通过新一代自研归档存储架构,UCloud新一代归档存储可以同时兼容SMR和CMR硬盘,并且支持双活高可用、上下电IO调度、EC灵活配置以及硬盘故障自动发现,这些软件特性不仅更好地利用了硬件优势,也给数据可靠性和可用性提供了充足的保障。
UCloud存储平台资深研发工程师方然介绍,UCloud在软件层面自主研发了一套磁盘上下电调度系统,可以保障磁盘寿命的同时,极大降低电费成本,使磁盘能耗降低近90%, 在纯写入场景下,耗能磁盘块数为原有的5%。
UCloud通过软硬件技术结合,突破了存储两大主要成本:运营成本和硬件成本。此外,UCloud采用了多种手段来降低用户成本。比如,用户使用UCloud归档存储产品上传数据并不收取费用,只有在外网取回时才收取费用,如果是内网请求取回并不需要收取费用,仅收取激活费用。
事实上,UCloud新一代归档存储当前主要针对多媒体数据归档、历史数据合规性归档、大数据/AI分析数据归档等三大数据类型,以及监控视频、广电媒资、在线直播、操作日志、数据库备份、电子合同、自动驾驶、基因测序、智能制造等九大应用场景的需求。
“像广电媒资行业在互联网+、数字化转型等方面走的很快,大量视频、图片数据增长给归档存储带来很大压力,比如每2PB数据就需要增加一个蓝光盘柜。长期来看,如果一直采用光盘库归档,本地空间占用、运维成本都会大幅上升。”吴斌炜介绍道,“像电商、互联网、自动驾驶、生物基因的用户,归档的数据量就更大了。”
做市场的搅局者还是变革者
归档是一个很“念旧”的市场,多年以来并没有太大的变化。
像金融、医疗等行业用户出于本身数据安全性考虑,依然会在本地选择采用磁带、蓝光的归档方式。这很像一种惯性思维,用户陷入固定的思维模式之中,长期很少做出改变,除非某个因素突变,彻底打破惯性思维的禁锢。
在UCloud看来,云归档所带来的低成本、良好的运维体验、灵活的使用方式就是打破惯性思维的利器。“像金融、医疗等行业,现在依然选择本地的磁带库或者光盘库进行归档,一方面是因为政策限制,另一方面也是因为之前云归档在成本上并没有突破性的下降。”吴斌炜表示,“现在情况也在慢慢改变,国家陆续出台了一些政策鼓励企业上云;另外,像UCloud新一代归档存储在价格上已经非常有竞争力,并且在运维、数据取回、按需使用等方面拥有巨大优势。”
UCloud存储平台研发总监吴斌炜
在笔者看来,如今的归档存储市场已经到了求变的时刻,像UCloud这样的云服务提供商更像是归档市场的变革者,它们通常可以用云计算的灵活、高效,通过快速的技术迭代、规模效应来彻底打破归档存储的格局。
比如,考虑到金融、医疗等行业用户对于本地化的归档需求,UCloud新一代归档存储产品接下来考虑的规划就是混合云部署模式的归档一体机,将本地与云之间打通,既让传统行业用户更加接受,也能够享受到云归档所带来的好处。
总体来看,UCloud此时推出极富竞争力的新一代归档存储产品,在成本上达到了一个临界点,对于用户而言将会非常具有吸引力,对于归档市场的变革将会有极大的推动作用。另外,从长远来看,归档市场潜力巨大,必然会吸引包括UCloud在内的云服务提供商投入更多资源,有望进一步推动云归档在更多行业中的普及与落地。