拥抱开源 DevOps引领大数据生态系统

为了开展开源战略，基于大数据生态系统组件的应用程序必须加强，才能在生产中运行。 devops可能是其中的重要组成部分。

用户一直希望减少对供应商的依赖。但是，当他们了解当今大数据生态系统的复杂环境时，他们至少在某种程度上将承担一定的责任。

新风格的数据工程要求对devops进行整体的调整，这就是敏捷性方法的扩展，需要开发人员对创新应用在生产中的表现承担更多的责任。同时，工程师需要以更快的速度学习新的软件。

许多早期采用者不得不创建基于mapreduce的hadoop应用程序，只能使用spark处理引擎重新启动它们。

如今有各种开源产品用于分析，包括hadoop sql查询工具、机器学习和其他功能。开源数据流媒体空间就有一些例子，随着一系列新的实时系统不断进行批处理，这些数据流空间正在不断发展。

在流媒体中，分析工具层出不穷。先是早期的竞争者apache storm，接着又出现apache spark和apache flink，而且这一切都发生在短短的几年之内。

hadoop联合创始人、cloudera首席架构师doug cutting表示，这是现代数据工程的本质，今天人们必须做好试用软件组件的准备。

事实上，很难找到与多个流媒体架构合作的商店，而且其中涉及到很多在职学习。随着spark通过最近宣布的drizzle插件在时间流式中添加记录，就需要更多的学习。

数据工程师正在研究组件如何以不同的组合形式工作，这个过程是从概念验证转向生产的重要环节。最终用户和供应商都属于这个环节的一部分。

搞清楚你想要什么

回想一下：当供应商们作为唯一创新来源的日子里，用户往往处于被动地位。供应商仍然可能在大数据应用实施方面发挥很大的作用，但被动的用户就要承受更大的风险。

事实上，产品发布时间中至少有一些滞后时间与准备软件的供应商有关。开源大数据应用程序从概念验证到生产投入的艰难过程并非巧合。

但是，随着数据商店开始对新的开源应用程序进行变革，需要大量的创新。

为了继续推进大数据工程，团队需要非常认真地追求devops的信条，或者称之为dataops，尤其是要求数据工程师和it架构师负责将创新思想运用到生产过程中。

本文转自d1net（转载）