天天看點

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

6月14日,計算平台事業部與阿裡雲開發者社群聯合舉辦的首期大資料+AI Meetup即将重磅開啟,來自阿裡、Databricks、快手、網易雲音樂的國内外多位技術專家齊聚一堂,與你探讨大資料及 AI 領域的熱門話題!

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

Meetup 精華看點

  1. Flink 1.11、Spark 3.0、Alink 1.1.1 等大資料熱門開源軟體核心開發者幫你圈出最新版本重點
  2. 實時數倉、資料湖、HSAP 架構能幹啥一次講清楚
  3. 更有一線生産環境實戰,春晚快手項目、網易雲音樂 Flink + Kafka 落地實踐的獨家寶貴經驗分享
  4. 全場超豪華嘉賓陣容,直播間已準備多種精美禮品,現場送送送

如何觀看

Tips:了解更多 Meetup 資訊可釘釘掃描下方二維碼進群咨詢。

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

(大資料 + AI Meetup 交流群)

▼ 一個福利 ▼

轉發本文至朋友圈即可參與抽獎,10本 Flink 紙質版學習資料等你拿!微信掃碼,聯系小松鼠參與抽獎:

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

▼ Meetup 完整議程 ▼

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

本次 Meetup 下午半場議程簡介如下。

01《Flink + KafKa在網易雲音樂的應用實戰》

嶽猛 | 網易雲音樂 實時計算平台研發工程師

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

演講簡介:

本次分享主要介紹基于flink+kafka在雲音樂的應用實踐,包括kafka流表中繼資料管理以及使用,使用flink+ kafka建構實時資料分發功能以及基于flink + kafka實時特征建構場景下的一些政策和思考。

02《Delta Lake 如何幫助雲使用者解決資料實時入庫問題》

辛庸 | 阿裡巴巴 技術專家

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

Delta Lake 自釋出以來得到了業界廣泛的關注,其提供的 ACID 支援、曆史版本回溯、UPDATE/DELETE/MERGE INTO 文法支援等功能完美契合了使用者對資料湖内容管理的需求;其 Multi-Hop 架構的流批一體設計極大簡化了使用者運維資料管道的成本,使得傳統的 ETL 流程進化為更靈活的 ELT+ 流程。

在本次演講中,我們将分享 EMR 是如何利用 Delta Lake 幫助使用者解決資料實時入庫的問題,以及在這個過程中我們對 Delta Lake 做了哪些有益的提升和探索。

《春晚活動下快手實時鍊路保障實踐》

劉建剛 | 快手 開發工程師

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

本次分享主要介紹,2020春晚活動下,快手内部為保障公司實時鍊路業務需求所做的保障工作。包括:實時任務的分級保障方案,整體鍊路穩定性保障,以及典型業務場景及壓測保障方案等。最終在一系列保障下,實時鍊路順利抗住春晚壓力,保障活動順利完成。

04《Flink 1.11 Table & SQL 深度解讀》

李勁松(之信) | 阿裡巴巴 技術專家

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

Flink SQL 1.11 又是一個較大提升的版本,完成了多項 features 來提升SQL的易用性和功能,不但加強了流處理領域的易用性和靈活性,還大力發展了Flink在流批統一架構中發揮的作用,主要内容是:

  1. DDL易用性提升
  2. Change table重構
  3. Hive Streaming Source&Sink&Join
  4. Hive DDL Dialect
  5. Filesystem connector

以上為本次 Meetup 下午場議題的詳細介紹,6月14日 10:00,大資料+AI Meetup 直播間期待您的到來,還有更多精美禮品,參與互動即可領取!點選下方連結即可預約 Meetup 直播~

Meet up 直播>>

阿裡巴巴開源大資料技術團隊成立Apache Spark中國技術社群,定期推送精彩案例,技術專家直播,問答區近萬人Spark技術同學線上提問答疑,隻為營造純粹的Spark氛圍,歡迎釘釘掃碼加入!

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

對開源大資料和感興趣的同學可以加小編微信(下圖二維碼,備注“進群”)進入技術交流微信群。

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

Apache Spark技術交流社群公衆号,微信掃一掃關注

直播 | Delta Lake 如何幫助雲使用者解決資料實時入庫問題

繼續閱讀