本节书摘来异步社区《storm技术内幕与大数据实践》一书中的第1章,作者: 陈敏敏 , 黄奉线 , 王新春
责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。
storm技术内幕与大数据实践
storm的使用场景非常广泛,比如实时分析、在线机器学习、分布式rpc、etl等。storm非常高效,在一个多节点集群上每秒钟可以轻松处理上百万条的消息。storm还具有良好的可扩展性和容错性以及保证数据可以至少被处理一次等特性。
图1-1中水龙头和后面水管组成的拓扑图就是一个storm应用(topology),其中的水龙头是spout,用来源源不断地读取消息并发送出去,水管的每一个转接口就是一个bolt,通过stream分组的策略转发消息流。