行業挑戰
随着網際網路技術快速發展、經濟水準不斷提高、社會對教育重視程度也越來越高，線上教育行業的發展呈顯著增長趨勢。iiMedia Research(艾媒咨詢)資料顯示，2020 年中國線上教育使用者規模将達 3.09 億人，市場規模将達到 4538 億元。受政策利好、社會教育意識加強以及中國小學生升學壓力等因素的積極影響，未來 K12 線上教育市場需求還将繼續擴大。
同時，線上教育行業與大資料及 AI 的結合也越來越緊密：
- 人工智能：利用 AI 技術可以将知識點進行分解，建構學生知識網絡，精準發現學生的知識漏洞，并即時回報，進而有針對性的推送相關教學内容，促進個性化教學，提高學習效率。
- 大資料：運用大資料和生物特征識别技術，可以分析學生的特征和學習狀态，精準描述使用者畫像，掌握學生學習時的專注度和投入度。
線上教育行業實時化和智能化轉型的過程中，對實時資料處理面臨很多問題：
- 資料量大：包括日志、資料庫、業務叢集資料等均有實時分析需求。
- 低延時：很多場景對低延時需求非常迫切。
- 使用角色多樣化：公司中各個角色，包括 BI 分析師、其他技術人員、業務營運人員等對實時報表都有需求。
- 需求複雜：線上教育行業業務模型複雜，一些實時 BI 場景邏輯也非常複雜，需要平台有完善的 SQL 支援。
解決方案
線上教育行業，實時計算 Flink版的典型使用場景：
- 實時 ETL&索引建構：提供 Flink SQL，大大簡化計算模型，降低使用者使用 Flink 的門檻。
- 實時統計&分析：實時數倉建構。
- 實時機器學習平台：實時特征處理，為下遊機器學習模型訓練準備資料。
- 實時事件處理：線上教育行業定型的監控及風控業務。
實時計算 Flink版在這些場景的優勢：
- Flink SQL大大降低實時資料處理的門檻，BI 分析師、普通工程師、業務營運人員等都可開發 Flink 任務。
- Checkpoint 實作 exactly-once 語意。
- Watermark 解決資料延時和亂序問題。
- 豐富的 Window 實作，滿足不同業務需求。
- 多種内置 Connector 支援，無縫對接各種開源及雲産品，大大降低生态對接成本。
成功案例
VIPKID
客戶簡介
VIPKID 是全球增長速度最快的線上青少兒英語教育品牌，純北美外教 1 對 1 線上授課，通過網際網路的方式将中國小朋友與北美老師連接配接起來。2017 年 8 月，VIPKID 推出全球首個 100% 浸入式教學線上少兒中文教育平台 Lingo Bus，正式發力中文出海業務。2019 年 6 月 11 日，VIPKID 入選“2019 福布斯中國最具創新力企業榜”。截至 2019 年 8 月，VIPKID 平台付費學生規模超過 70 萬人，北美外教數量超過 9 萬人。2019 年 12 月，教育部辦公廳公布第一批教育 App 備案名單，VIPKID 通過備案。
*資料來源：百度百科
業務需求
- BI 實時名額計算：VIPKID 的核心業務場景中，需要實時統計目前時間的約課數量，是計算平台團隊的一個核心需求。
- 實時 ETL：VIPKID 日常的業務中，包含大量的資料 ETL 工作，資料來源也非常多樣，包括：
- 線上教室網絡鍊路的狀态和日志
- 業務系統日志
- 業務資料
- 記錄檔
系統架構
實時計算處理架構為 MQ + 實時計算 Flink 版：
- 使用 MQ 對接上遊的資料來源，包括日志資訊、資料庫、業務資料叢集。
- 然後通過實時計算 Flink版，完成對于資料的“抽取”、“轉換”、“裝載”；之後對接到下遊的資料庫，Kafka 隊列、ES、大資料叢集（Hadoop）。
業務總結
- 實時計算 Flink 版提供了完整的SQL能力，能夠大大降低使用者使用實時計算的門檻。VIPKID 計算平台團隊使用實時計算 Flink 版，能夠快速建構計算模型，響應實時名額計算需求，完成對業務需求的快速适配。
- 基于阿裡雲實時計算 Flink版，計算平台團隊為公司建設了統一的實時計算平台，目前支撐了監控告警、資料清洗以及一些實時消息處理方面的需求
未來規劃
- 從業務平台到公司平台：基于實時計算Flink 版建設實時數倉能力，延伸資料 ETL 平台到更多業務線。
- 商業智能從 1 到 N：擴充更多 BI 業務場景，為業務提供實時統計和資料支撐。
- 實時視訊分析和預警：與視訊分析結合，嘗試實作線上教育場景分析和業務實時預警
實時計算 Flink 版産品交流群
阿裡雲實時計算Flink - 解決方案： https://developer.aliyun.com/article/765097 阿裡雲實時計算Flink - 場景案例： https://ververica.cn/corporate-practice 阿裡雲實時計算Flink - 産品詳情頁： https://www.aliyun.com/product/bigdata/product/sc