天天看点

企业数仓如何处理?Flink来报到 | 开发者社区精选文章合集(二十一)

每日集成开发者社区精品内容,你错过的干货补给站

每日精选博文推荐

企业数仓如何处理?Flink来报到 | 开发者社区精选文章合集(二十一)

一套 SQL 搞定数据仓库?Flink有了新尝试

目前企业的数仓建设大多是离线一套,实时一套。业务要求低延时的使用实时数仓;业务复杂的使用离线数仓。架构十分复杂,需要使用很多系统和计算框架,这就要求企业储备多方面的人才,导致人才成本较高,且出了问题难以排查,终端用户也需要熟悉多种语法。本文分析目前的数仓架构,探索离线和实时数仓是否能放在一起考虑,探索Flink的统一架构是否能解决大部分问题。

>>戳我前往了解全文

40亿条/秒!Flink流批一体在阿里双11首次落地的背后

2020的双11,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒7TB,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角,并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验,回顾“流批一体”大数据处理技术的发展历程。

>>点击阅读全文

性能提升约 7 倍!Apache Flink 与 Apache Hive 的集成

随着 Flink 在流式计算的应用场景逐渐成熟和流行,如果 Flink 能同时把批量计算的应用场景处理好,就能减少用户在使用 Flink 时开发和维护的成本,并且能够丰富 Flink 的生态。SQL 是批计算中比较常用的工具,所以 Flink 针对于批计算也以 SQL 为主要接口。本次分享主要介绍 Flink 对批处理的设计与 Hive 的集成。

>>点击了解全文

Flink 作为现代数据仓库的统一引擎:Hive 集成生产就绪!

你的数据仓库和基础设施需要满足哪些需求?首先,当下的企业正快速转向更实时化的模式,这要求企业具备对线上流式数据进行低延迟处理的能力,以满足实时(real-time)或近实时(near-real-time)的数据分析需求。第二,数据基础设施需要具备同时处理线上和线下数据的能力,两种模式在实际应用中都不可或缺。第三,数据工程师、数据科学家、分析师和运维人员都在渴望一套统一的数据技术栈,以便更轻松的使用。来看看我们如何真正解决这个问题。本篇了解 Flink 与 Hive 生产级别的整合工作。

每日精选电子书

《Apache Flink 十大技术难点实战》

《Apache Flink 十大技术难点实战》来啦!总结生产环境十大常见难点,10篇技术实战文章帮你完成故障识别、问题定位、性能优化等全链路过程,实现从基础概念的准确理解到上手实操的精准熟练,从容应对生产环境中的技术难题!

>>点击下载,《Apache Flink 十大技术难点实战》

《Apache Flink 年度最佳实践》

Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级,并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。今天Apache Flink 年度最佳实践电子书来啦!覆盖国内外一线大厂实时平台构建的经验分享与实时数仓的应用实践,为你揭秘实时计算平台从无到有到有、持续优化的详细细节!

>>点击下载,《Apache Flink 年度最佳实践》

热门推荐

每日集成开发者社区精品内容,请持续关注!