对象存储适合人工智能和机器学习的三个原因

云栖号资讯：【 点击查看更多行业资讯

】

在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！

如今，各种类型的企业都致力于采用人工智能和机器学习项目，但要发挥其真正的潜力，则需要克服重大的技术障碍。虽然计算基础设施通常是重点，但存储设施也同样重要。以下是对象存储(而不是文件或块存储)适用在加强人工智能和机器学习工作负载的三个主要原因：

1.可扩展性

当有大量不同的数据源可供学习时，采用人工智能和机器学习技术最有效。数据科学家利用这些丰富的数据来训练领域模型。在“大数据的五个V”(数量、类型、速度、准确性和价值)中，前两个(数量和类型)最为重要。简而言之，人工智能和机器学习依赖于大量不同的数据(图像、文本、结构化和半结构化数据)来构建有用的模型，提供准确的结果，并最终提供业务价值。

对象存储是很具扩展性的存储架构，特别适合支持人工智能和机器学习所需的大量数据。对象存储旨在通过水平扩展方法实现无限增长，从而使企业可以通过在需要的位置和时间添加节点来增加部署。由于对象存储使用单个全局名称空间，因此也可以一次在多个地理位置上进行这种扩展。另一方面，文件和块系统通常采用扩展方法。这意味着这些平台通过向单个节点添加更多计算资源来实现垂直扩展，这最终会受到限制。他们无法通过部署其他节点来增加计算资源，从而无法有效地水平扩展。

2. API

健壮灵活的数据API对于人工智能和机器学习非常重要，如上所述，它们使用了多种数据类型。存储平台需要支持API来容纳各种数据。此外，人工智能和机器学习的创新越来越多地在公共云上进行，但是仍然有相当一部分人工智能和机器学习在内部部署数据中心或私有云中发生，这取决于用例的具体情况(例如，科学研究和医疗保健等领域通常最适合私有云)。这意味着组织需要一个存储API，以支持公共云和本地/私有云中的工作负载。

文件和块存储平台所支持的API受限制，部分原因是它们是较旧的架构。相比之下，对象存储使用云平台中固有的高级API，该API设计为以应用程序为中心，与文件和块存储相比，它支持范围更广的API，其中包括版本控制、生命周期管理、加密、对象锁定和元数据。此外，支持人工智能和机器学习用例的新对象存储API(例如对流数据的支持和对海量数据集的查询的支持)也是可能的。

通过围绕Amazon S3的对象存储API的标准化，可以更轻松地在内部部署和公共云中集成软件。企业可以轻松地将人工智能和机器学习部署从内部部署/私有云环境扩展到公共云，或者将云原生的人工智能和机器学习工作负载迁移到内部部署环境，而不会损失功能。这种双模式方法使组织可以合作且可互换地利用内部部署/私有云和公共云资源。

由于S3 API已成为对象存储的事实上的标准，因此许多软件工具和库都可以利用该API。这允许共享代码、软件和工具，以促进人工智能和机器学习社区中更快的开发。示例包括流行的机器学习平台，例如具有内置S3 API的TensorFlow和Apache Spark。

3.元数据

与API一样，使用人工智能和机器学习的组织必须利用无限的可自定义的元数据，这一点至关重要。元数据只是关于数据的数据，在最基本的层面上，是在何时何地创建的数据，以及是谁创建的数据。但是元数据可以描述更多内容：用户可以创建任意的元数据标记来描述他们想要的任何属性。

数据科学家需要丰富的元数据来查找特定数据以构建和使用其人工智能和机器学习模型。随着更多信息添加到数据中，元数据注释可逐步积累知识。

文件和块存储仅支持有限的元数据，例如上述基本属性。这在很大程度上可以归结为可扩展性，因为文件和块系统未配备快速无缝的增长功能，如果存储系统支持依赖大量数据集的人工智能和机器学习应用程序的丰富元数据，则自然会发生这种情况。但是，对象存储支持无限的、完全可自定义的元数据，从而使查找用于人工智能和机器学习算法的数据更加容易，并从中获得更好的见解。

以一家医院在X光图像上使用图像识别应用程序为例：使用元数据，可以使用TensorFlow模型分析添加到对象存储系统中的每个图像，然后为每个图像分配更加精细的元数据标签(例如，损伤类型、基于骨骼大小或生长的患者年龄或性别等)。TensorFlow模型可以在元数据上进行训练，并对其进行分析，得出新的患者见解(例如与五年前相比，如今20岁到30岁的妇女患上的骨科疾病更多)。

几乎每一家财富500强公司都在考虑采用人工智能和机器学习，可以想象这些技术将在可预见的将来成为最重要的企业IT计划。然而，要使人工智能和机器学习计划获得回报，企业必须利用正确的存储基础设施。对象存储由于其可扩展性、对各种API(特别是S3)的支持以及丰富的元数据，是人工智能和机器学习的优秀支柱。

【云栖号在线课堂】每天都有产品技术专家分享！

课程地址：

https://yqh.aliyun.com/live

立即加入社群，与专家面对面，及时了解课程最新动态！

【云栖号在线课堂 社群】

https://c.tb.cn/F3.Z8gvnK

原文发布时间：2020-06-02

本文作者： Gary Ogasawara

本文来自：“

企业网D1Net

”，了解相关信息可以关注“

”