有幸参加了6月9号到6月11号在圣何塞举办hadoop summit 2015,主要关注了实时计算相关的topic。
本次参会的主要感受是:实时处理成为各个公司的标配,olap是基本需求。
下面我主要分享如下三个议题:
实时计算框架(主要是storm,spark主题太少,涉及实时计算的基本没有)
realtime process和 batch process的统一
realtime 处理架构以及design pattern
这次hadoop 峰会有一个storm的committer(来自yahoo)分享了storm在yahoo遇到的问题以及如何解决这些问题的方法,同时介绍了后续storm后续发展规划
由于这次是hadoop summit 所以介绍spark很少,介绍spark streaming就没有了
</h4>
该文章来自于阿里巴巴技术协会(ata)