天天看點

Flink 實戰:如何解決生産環境中的技術難題?

大資料作為未來技術的基石已成為國家基礎性戰略資源,挖掘資料無窮潛力,将算力推至極緻是整個社會面臨的挑戰與難題。

Apache Flink 作為業界公認為最好的流計算引擎,不僅僅局限于做流處理,而是一套兼具流、批、機器學習等多種計算功能的大資料引擎,以其高吞吐低延時的優異實時計算能力、支援海量資料的亞秒級快速響應幫助企業和開發者實作資料算力更新,并成為阿裡、騰訊、滴滴、美團、位元組跳動、Netflix、Lyft 等國内外知名公司建設實時計算平台的首選。

Flink 實戰:如何解決生産環境中的技術難題?

更好的釋放 Flink 的強大算力,需要解決哪些問題?如何進行技術選型?針對業務的特點如何進行相應改進? 實踐過程中需要規避哪些坑?

11 月 28-30日,Flink Forward Asia 重磅開啟!由來自阿裡巴巴及 Ververica 的 19 位 Flink 技術專家們傾力打造的四門教育訓練課程,針對不同階段、不同學習需求提供技術支援,賦能一線開發者,是小白同學也适合深度學習課程。

教育訓練僅剩的少量名額開放預約中,詳情可加微信(ID:candy1764)咨詢,從基礎概念的準确了解到上手實操的精準熟練,四門線下實戰課程,幫你從容應對生産環境中的技術難題。最後一周,不容錯過!

參與教育訓練課程你能收獲什麼?

  1. 你将準确了解分布式資料流、事件時間和狀态等核心概念以及在 API 中的展現,并學習如何将這些概念組合在一起來解決實際問題。
  2. 你能充分學習 Flink 應用程式的部署和操作相關的實踐性介紹、Flink 運作中涉及的核心概念,以及用于部署、更新和監控 Flink 應用程式的主要工具。
  3. 你将知道如何更好的發揮用 SQL 編寫 Flink 作業的潛力,現場研究流式 SQL 的不同案例,包括連接配接流資料、維表關聯、視窗聚合、維護物化視圖,以及使用 MATCH RECOGNIZE 子句進行模式比對等。
  4. 你能夠提前了解流計算作業從早期 PoC 階段慢慢過渡到生産過程中最常見的挑戰,并為大家提供超實用的故障診斷工具集,還将介紹例如監控、水印、序列化、狀态後端等領域的最佳實踐和技巧,幫助你從 Flink 小白成長為 Flink 技術專家。

重要提示:該教育訓練項目由四個實踐和教學環節組成,于 11 月 29 日 下午- 30 日全天(共計 1.5天)同時進行,旨在幫助您提升流處理的程式設計能力和對 Apache Flink 技能學習。

中階一:Apache Flink 開發人員教育訓練

課程介紹

課程時長:1.5 天

課程目标:

  1. 本課程是對想要學習建構流應用程式的 Java 和 Scala 開發人員進行的關于 Apache Flink 的實踐介紹。
  2. 教育訓練将重點介紹分布式資料流、事件時間和狀态等核心概念。
  3. 這些練習将使您有機會了解這些概念在 API 中是如何被展現的,并了解如何将這些概念組合在一起來解決實際問題。

Tips:本課程為純英文授課,同時配有中文技術專家支援解答問題。

講師介紹:

主講:

David:負責 Ververica 教育訓練,Data Science Retreat 的老師和導師,建立了大資料工程課程并且帶領團隊建構了分析管道,推薦系統和可視化産品等。

協助:

  • Qinjun:Ververica 解決方案架構師,因斯布魯克大學博士,專注于分布式計算和系統架構。
  • 戴資力(Gordon):Apache Flink PMC,Ververica Software Engineer,主要負責 Flink 的系統開發。
  • 宋辛童(五藏):阿裡巴巴進階開發工程師,主要負責 Apache Flink 及阿裡雲實時計算中資源排程與管理機制的研發工作。

課程目錄:

  • 介紹流計算和 Apache Flink
  • DataStream API 的基礎
  • 為 Flink 開發做準備(包括練習)
  • 有狀态的流處理(包括練習)
  • 時間、定時器和 ProcessFunction(包括練習)
  • 連接配接多個流(包括練習)
  • 測試(包括練習)

說明:不需要 Apache Flink 的相關知識。

中階二:Apache Flink 運維教育訓練

  1. 本課程是針對 Apache Flink 應用程式的部署和操作相關的實踐性介紹。
  2. 目标閱聽人包括負責部署 Flink 應用程式和維護 Flink 叢集的開發人員和運維人員。
  3. 示範将重點介紹 Flink 運作中涉及的核心概念,以及用于部署、更新和監控 Flink 應用程式的主要工具。

  • 徐帥(輔機):阿裡巴巴實時計算平台進階專家,目前負責 Flink CEP 引擎及部分 Runtime 子產品。
  • 高赟(雲骞):阿裡巴巴技術專家,主要從事 Flink Runtime 層的設計與研發。
  • 朱翥(長耕):阿裡巴巴技術專家,主要負責阿裡雲實時計算的排程和容錯相關的工作。

  • 沙晟陽(成陽):阿裡巴巴技術專家,目前主要關注 K8s 生态下的 Flink 研發。
  • 趙開興(純庚):阿裡巴巴技術專家,對 Flink 和阿裡雲實時計算産品的技術特點、應用場景、應用過程可能遇到的問題有豐富的經驗和了解。

  • 資料中心裡的 Flink
  • 分布式架構介紹
  • 容器化部署(包括實際操作)
  • 狀态後端和容錯(包括實際操作)
  • 更新和狀态遷移(包括實際操作)
  • 名額(包括實踐)
  • 容量規劃

說明:不需要對 Apache Flink 有先驗知識。

中階三:SQL 開發人員教育訓練

  • 您将學習到如何充分發揮使用 SQL 來編寫 Apache Flink 作業的潛力。
  • 我們将研究流式 SQL 的不同案例,包括連接配接流資料、維表關聯、視窗聚合、維護物化視圖,以及使用 MATCH RECOGNIZE 子句進行模式比對(這是 SQL 2016 新提出的标準)。

  • 伍翀(雲邪):Apache Flink PMC,阿裡巴巴技術專家,Flink/Blink SQL 子產品的核心開發之一。目前主要專注于分布式處理和實時計算。
  • 李銳:Apache Hive PMC,阿裡巴巴技術專家,主要參與 Hive、HDFS、Spark 等開源項目。
  • 程鶴群(軍長):阿裡巴巴技術專家,核心參與 Flink Table API 相關的研發。
  • 陳玉兆(玉兆):Apache Calcite PMC,阿裡巴巴進階工程師,參與 Flink 相關的研發。
  • 張冉,主要協助阿裡巴巴集團内部及廣大外部使用者使用實時計算産品上的疑難雜症,緻力于優化實時計算産品。

  • 介紹 SQL on Flink
  • 使用 SQL 查詢動态表
  • 連接配接動态表
  • 模式比對與 match_recognition
  • 生态系統&寫外部表

說明:不需要 Apache Flink 的先驗知識,但是需要基本的 SQL 知識。

高階:Apache Flink 調優和問題排查

  1. 介紹将流計算作業從早期 PoC 階段慢慢過渡到生産過程中最常見的挑戰,并且幫助大家一起消除它。
  2. 提供有用的故障診斷工具集,并介紹例如監控、水印、序列化、狀态後端等領域的最佳實踐和技巧。
  3. 有機會使用新學習到的知識來解決一些異常 Flink 作業表現出來的問題。
  4. 歸納那些使作業沒有進展或吞吐量沒有達到預期,或作業延遲的常見原因。

  • 唐雲(茶幹):阿裡巴巴進階研發工程師,長期從事 Flink state & Checkpoint 相關研發,目前也積極參與 Flink on K8s 相關軟體化輸出開發和社群開發推廣工作。
  • 邱從賢(山智):阿裡巴巴進階研發工程師,專注于 Flink 核心引擎開發,主要從事 Flink State&Checkpoint 相關研發工作。
  • 周凱波(寶牛): 阿裡巴巴技術專家,專注于基于Flink的一站式計算平台的建設。
  • 何健超(遲南):阿裡巴巴技術專家,專注于基于 Flink 的新一代實時計算平台的建設。
  • 方舒:參與阿裡巴巴實時計算産品服務,為集團内部及廣大外部使用者使用實時計算提供技術支援及産品方案的優化。

  • 時間和水印
  • 狀态處理和狀态後端
  • Flink 的容錯機制
  • 檢查點和儲存點
  • DataStream API 和 ProcessFunction。

教育訓練課程預約說明

教育訓練系列課程為精品小班教學,19 位技術專家面對面指導,一天半深度實操教學,堪稱 2019 年度最佳幹貨課程!大會倒計時最後一周,少量名額售完即止!課程詳細說明:

  • 參加教育訓練請選擇購買 VIP 套票。中階教育訓練購買 VIP 套票 1,高階教育訓練購買 VIP 套票 2。
  • VIP 套票 1 可參與中階所有課程,VIP 套票 2 可參與包括高階、中階教育訓練在内的所有課程。
  • 教育訓練課程咨詢:微信(ID:candy1764)

點選下方連結可了解更多教育訓練課程與 Flink Forward Asia 2019 大會資訊,越早預約越能抓住時代先機~

https://developer.aliyun.com/special/ffa2019-training?spm=a2c6h.13239638.0.0.108f7955H8hcQ7