《智能数据时代：企业大数据战略与实战》一1.4 大数据处理的微妙之处

.本节书摘来自华章出版社《智能数据时代：企业大数据战略与实战》一书中的第1章，第1.4节，作者 talkingdata ，更多章节内容可以访问云栖社区“华章计算机”公众号查看

处理不同类型数据的方式正趋于一致，因为进行数据处理的设备和应用程序都设置了指定的xml格式，以及特殊行业所专用的xml数据标准（如保险业的acord标准、健康医疗产业的hl7标准）。xml技术扩展了大数据分析和集成工具可以处理的数据类型，但这些技术的转换能力仍然受到数据复杂性和数量的限制，从而使得现有的数据类型转换工具和数据转换的需求不匹配。因而开启了新类型的通用型数据类型转换工具的大门，新的转换工具能够适用于各种数据类型的转换与融合，而且不用编写代码，同时还能适用于任何应用程序或者平台架构。

大数据概念的定义和相关分析工具的开发都还处于不断改进的状态，这些应用工具、技术、程序仍在不断演变。然而，这并不意味着那些要从大数据集中寻求价值的人应该等待。大数据对商业运作来说太重要了，不能采取等待和观望的方法。

真正窍门在于发现能处理多种类型数据的最优方式，同时还能保证满足数据分析过程的目标。最好的做法就是把硬件、软件和应用程序结合在一起形成一种可管理的程序，从而在有限时间内传递数据结果。

存储也是大数据的关键要素。数据必须存储在一个易于访问且易于维护的地方。这对大多数企业和组织而言需要很高的成本，因为基于网络的数据存储如sana和nas等的购买和管理都很昂贵。

数据存储技术已经发展成为典型数据中心常见的元素之一，因为数据存储技术已经成熟且开始商业化。然而，现代企业不断变化的需求仍对存储技术施加压力，把bi引入大数据的分析就是一个比较好的佐证。

大数据分析程序需要超出传统存储模式的存储能力。传统的存储技术如sans、nas等都无法处理兆级和千兆级的非结构化数据。因此，大数据分析程序的成功运行需要一种处理大量数据的新方式，以及一种新的数据存储平台理念。