CNCC 2016 | 南京大學黃宜華教授 50 張 PPT 剖析 Alluxio 及其應用

雷鋒網(公衆号：雷鋒網)按：本文根據黃宜華在 cncc 2016 大資料高峰論壇上所做的報告《 基于記憶體的統一分布式存儲系統 alluxio 及其應用 》編輯整理而來，在未改變原意的基礎上略有删減。文末有福利。

黃宜華， 博士， 教授， 博導，南京大學 pasa 大資料技術實驗室負責人。 主要研究領域為大資料并行處理、多核并行計算、雲計算、web資訊挖掘內建、語義分析挖掘、中文資訊處理、以及計算機應用。目前擔任中國計算機學會大資料專家委員會委員、副秘書長，江蘇省計算機學會大資料專家委員會主任，江蘇省計算機學會雲計算專業委員會副主任。

alluxio 簡介

alluxio（之前名為 tachyon）是世界上第一個以記憶體為中心的虛拟的分布式存儲系統。它統一了資料通路的方式，為上層計算架構和底層存儲系統建構了橋梁。 應用隻需要連接配接alluxio即可通路存儲在底層任意存儲系統中的資料。此外，alluxio的以記憶體為中心的架構使得資料的通路速度能比現有正常方案快幾個數量級。

在大資料生态系統中，alluxio 介于計算架構(如 apache spark，apache mapreduce，apache flink)和現有的存儲系統（如 amazon s3，openstack swift，glusterfs，hdfs， ceph，oss）之間。 alluxio 為大資料軟體棧帶來了顯著的性能提升。使用者可以以獨立叢集方式(如amazon ec2)運作alluxio，也可以從apache mesos或apache yarn上啟動alluxio。

alluxio 與 hadoop是相容的。這意味着已有的spark和mapreduce程式可以不修改代碼直接在 alluxio上運作。alluxio 是一個已在多家公司部署的開源項目(apache license 2.0)。 

alluxio 是發展最快的開源大資料項目之一。自 2013 年 4 月開源以來，已有超過 100 個組織機構的 250 多貢獻者參與到 alluxio 的開發中。包括阿裡巴巴, alluxio, 百度, 卡内基梅隆大學，ibm，intel, 南京大學, red hat，uc berkeley和 yahoo。alluxio 處于伯克利資料分析棧(bdas)的存儲層，也是 fedora 發行版的一部分。

系統架構與工作原理

| 系統架構

| 檔案組織

| 讀寫行為

| 容錯機制

重要特性與适用場景

| 檔案系統接口

| 世系關系

| 鍵值存儲庫

| 分層存儲

| 更多底層存儲系統

| 統一命名空間

| 與計算架構相結合

| web 界面

| 安全性适用場景

| 配置項設定

| 度量名額系統

實際應用案例介紹

| barclays 銀行

| 百度查詢系統

| 去哪兒網大資料留處理系統

| 華泰證券行情資料回放系統

中文文檔和國内鏡像社群

福利：掃下方二維碼，關注 ai 科技評論公衆号，背景回複“alluxio”得現場高清ppt。

本文作者：陳楊英傑