底层基础平台主要解决的是数据存储、计算的问题,是整个大数据生态的基石。采集到的数据,首先要能高效、快捷地存起来,才能进行数据分析和数据挖掘。
这一层非常重要,同时也是技术含量最高的一层。以底层技术中明星hadoop为例,用hadoop的公司很多,能做hadoop发行版的公司凤毛麟角。
底层基础平台细分领域里的大数据公司众多,有专注hadoop发行版的星环科技、红象云腾和天云大数据,有传统数据库厂商人大金仓和南大通用,有研发新型分布式数据库的巨杉数据库,还有唯一来自中国的apache社区顶级项目kylin背后公司kyligence。
接下来为您重点阐述国内外hadoop生态的现状。
hadoop兴起的原因:便宜才是硬道理
进入新世纪的第一个十年,各大企业都在大力投入it设备,建设自己的机房,上线各套办公系统。第二个十年,经济下行,传统企业的盈利下降,对it设备的投入已经不像上个十年那般狂热,大型企业采购it设备的经费受到控制,开始核算成本,意图在满足需求的情况下,降低投入。
以hadoop为代表的新底层技术能够兴起,抛开技术原因,最主要的原因是便宜、扩展性强。利用分布式架构,将一些性能一般的机器串联起来,达到与高性能单机同样的效果。随着公司发展,数据量增大,不需要更换全套设备,只需要再增加机器就可以达到目的,省时省力。
分布式架构的技术很多,为什么hadoop最后胜出?还是因为便宜,用的人多。以微软的cosmos为例,这套系统本身优于hadoop,主要是针对大型机房,设计理念很好,上万台机器的机房,拿出几十台做别的事情,来提升系统运营效率。但如果是几十台机器,仍然需要拿出很大一部分来做别的事情,机器使用效率就很低。
实际应用时,用上万台机器的公司少,用几十台机器的公司多,因此hadoop的应用面更广。用的人多,自然帮助优化架构的人多,社区贡献的人多,技术发展快,渐渐成为主流。
国外hadoop三驾马车,商业模式各有差异
hadoop三驾马车,数据源:公司公告,爱分析整理
提到hadoop,必然要提到国外三家围绕hadoop技术的公司:cloudera、hortonworks和mapr。三家公司都成立时间不长,cloudera和mapr都是2009年成立,而hortonworks是2011年从雅虎独立出来。
三家公司都在资本市场上受到追捧。hortonworks在2014年上市,ipo当天市值接近11亿美金;cloudera获得英特尔7.4亿美金的投资,估值近50亿美金;mapr最近刚刚获得5000万美金融资,估值也超过10亿美金。
hadoop技术是开源的,为什么还有公司会提供hadoop相关服务?这是因为开源技术的兼容性和稳定性比较差,同时,企业在实际应用中需要将开源技术和自身系统、产品相连接,这就是hadoop发行版的市场所在。三家公司利用自己在这领域的技术、经验积累,帮助企业更好地应用hadoop技术。
尽管三家公司都是提供hadoop相关服务,但是商业模式区别不小。cloudera和mapr都研发自己的hadoop发行版,只不过mapr的技术完全闭源,不会对外开放,而cloudera的产品分为免费版和企业版,只有企业版的核心组件不对外开放,其他技术均提供给社区。hortonworks将自己的技术完全贡献给社区,不靠产品获利,靠派驻技术人员到客户现场提供服务盈利。
因为mapr的技术不开源,所以对社区贡献有限,目前对apache hadoop社区影响最大的是cloudera和hortonworks这两家公司。
国内市场处于跑马圈地阶段,新兴大数据公司刚刚起步
正如开篇所言,尽管近年大数据行业风起云涌,创业公司如雨后春笋般冒出,却少有专注底层基础平台的公司。
星环科技是业内的明星公司,创始团队来自原intel开发hadoop发行版的部门,成立三年已完成1.55亿人民币的b轮融资,估值超过10亿人民币,目前主要服务金融、电信领域客户。
天云大数据和红象云腾同样在做底层基础平台,发展速度略逊于星环科技,都在寻找适合自身的发展路线。天云大数据的业务在向上层迁移,除了提供hadoop发行版,目前也涉足复杂神经网络等算法技术;红象云腾将业务下沉,基于芯片层提升系统处理数据的效率。
当前,银行等大型企业纷纷喊出“去ioe”(ibm小型机、oracle数据库、emc存储设备),尽管国产企业的产品尚不能满足大型企业核心系统的要求,但是必然会有大量新业务的it系统采用国产品牌,旧有业务面临更新换代也会优先选择国内厂商。
数据库等底层设施不同于上层应用,更换成本较高,客户黏性很大,非万不得已不会进行替换,同时hadoop这类新技术迭代速度快,需要后期维护。因此,各家公司都在大力开拓市场,跑马圈地。
新兴公司服务客户的方式类似,前期以产品为内核,用项目制的形式帮助企业搭建系统,后期每年收取20%的维护费。各家企业都在降低初装费,意图占据市场,靠后期维护费用收回成本。
巨头环伺的市场,大数据初创公司突围不易
在去ioe的趋势下,中国大型企业都在面临it设备的更新换代,整个底层基础平台市场潜力巨大。新兴大数据公司利用其技术优势和初创公司的高效决策机制,迅速抢占一些市场份额,占据一席之地不成问题。
这类公司主要服务金融、电信、交通、电力等领域的大型企业,这些领域原本是传统集成商的地盘,因此新兴大数据公司不可避免地将与集成商正面竞争。华为、浪潮、亚信等公司之前主要是为大型企业提供硬件基础设施,近年看到大数据领域的巨大潜力,纷纷成立了大数据部门,为客户提供全套解决方案。
未来几年在底层基础平台领域诞生一家估值10亿美金的独角兽公司是可以预见的,但是这些大数据公司中出现类似oracle这样的巨头公司可能性不大,基于以下几点:
第一, 产品同质化严重,市场竞争激烈
底层基础平台不同于上层应用,客户需求类似,产品很难体现出差异化优势。各家公司主要比拼产品性能的优劣,这种技术上的差异,新兴公司最初会占据一定优势,随着开源技术的普及,华为等公司会逐步赶上,技术的差距会逐步缩小。
这个市场并非全新市场,华为、浪潮、亚信等公司在这领域盘桓多年,新兴公司发展到一定程度,势必会侵入集成商的地盘。最近这段时间,星环科技和华为竞争非常激烈,价格战打得火热。
第二, 技术迭代更新快,长期保持技术领先不易
hadoop诞生于2006年,spark于2009年出现,2013年hadoop已经发布2.0稳定版本,两种技术从诞生到成熟时间之短,令人震惊。在当今这个技术快速发展的时代,新兴大数据公司一方面要应对市场竞争,另一方面还要保持技术的领先地位,难度不小。
hadoop等分布式架构颠覆了传统单机架构,很难说未来不会有新技术出现颠覆掉hadoop。一旦大数据公司赖以生存的根基遭到颠覆,谋求转型势必困难重重,公司大概率会失败。不过目前apache hadoop社区运作良好,hadoop经过这些年的改善优化,性能和稳定性上获得很大提升,spark等新技术大多都会对接在hadoop上面。未来几年这方面风险较小,毕竟技术发展到现在,独自造轮子的难度很大。
第三, 产品销售能力逊于传统巨头公司
企业级市场,产品销售能力将成为影响公司发展的重要因素。以oracle为例,早年与oracle竞争的sybase和informix,其技术实力不逊于oracle,informix的技术甚至领先于oracle。这两家公司最后在竞争中出局,落得被收购的下场,主要是输在市场推广上,市场推广的失利直接影响到公司的技术革新,最后导致衰落。
在这方面,华为等传统巨头公司占据绝对优势,一方面他们与客户有长期合作关系,另一方面销售团队长期服务大型企业,经验丰富。
那么,什么样的公司有机会突围成功,成为中国的oracle。
具备以下几点的公司机会最大。
第一, 开源心态有助于保持技术领先地位
以hadoop为代表的开源技术正在改变世界,但开源和可持续盈利模式总是存在着一些矛盾,近期rethinkdb公司的倒闭值得警惕。国内专注hadoop技术的公司效仿国外找到了一条盈利模式,但目前仍然存在一些风险。
公司要不要保持开源的心态,开放自己的技术给更多人使用?对大数据公司而言,技术是核心竞争力之一,特别是对于这些做基础平台的公司,开放技术无疑是削弱自身竞争优势,降低产品的附加值,减少公司的毛利,短期来看,开放技术会对公司的营收造成不良影响。
但是,从公司长远发展来看,完全闭源会增大公司风险,其严重后果远远大于开放技术的影响。大数据公司最担心的是路线图出现偏差,自身技术与时代发展相左,丧失技术上的优势。一旦发生公司的技术发展方向背离整个行业发展方向,需要停止已研发的项目,掉头追赶行业脚步,这对创业公司来说是非常致命的。
如果向开源社区开放自己技术,让更多人了解、研究,有助于自身技术的发展,保证路线图的正确性。同时,不断向开源社区做出贡献,还能提升公司在社区的话语权,进而提升公司在行业的影响力。这也是为什么cloudera和hortonworks愿意开放技术,争夺在hadoop社区的话语权。影响了开源社区,就会影响到整个行业技术发展进程,可以让公司的发展始终保持在正确的轨道中。
第二, 商业拓展与技术研发同等重要
企业服务市场是销售驱动型市场,而非技术驱动型,大数据这个细分领域同样如此。技术实力再强,产品功能再多样,也需要有客户买单才行。有些创业公司只重视研发上的投入,轻视市场推广,公司每年订单少,营收自然不高,团队规模上不去,融资困难,公司发展缓慢。
单纯技术上的优势,在企业级市场并不是绝对影响因素。很多公司在poc阶段都曾遇到过技术标第一,却因为商业谈判阶段不理想而错失订单的事情。特别是现在市场处于跑马圈地阶段,抢占位置比什么都重要,更是需要大力进行商业拓展。一旦市场格局稳定下来,到时候再切入市场难度很大。
另一方面,即使是基础平台技术,也需要在实际应用中进行改进优化,各行各业中应用同样的技术还是有一些差异,在应用过程中才会真正了解企业的痛点,更好地服务企业。在做项目过程中,大数据公司可以积累经验,将这些经验内化成产品的一部分,做出更适合中国企业用户的基础平台产品,筑起公司的壁垒。
第三, 效仿oracle,建立适合公司的小生态
建立生态这一点并不是适合初创公司,是公司发展到一定程度后需要考虑的。扩大自己合作伙伴的队伍,与其他公司共同开发产品,让其他公司承担一定销售任务,有些时候要比单打独斗更适合企业级市场。
oracle这样的巨头公司,刚进入中国市场时也遇到不小的阻力。当时采取的做法是与中国本土公司合作,建立围绕oracle的小生态,借助本土公司的力量敲开中国市场的大门。
做底层基础平台的公司,作为连接硬件和应用的中间层,更需要与其他公司合作。平台上对接的应用越多,越有助于平台产品的推广,开辟新的市场。
本文转自d1net(转载)