天天看點

在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析

在使用SmartBI進行資料分析時,通過MPP高速緩存庫可以大大加快計算速度,提高工作效率。我司SmartBI MPP高速緩存庫的底層技術為ClickHouse。ClickHouse是一個面向聯機分析處理(OLAP)的開源的面向列式存儲的資料庫管理系統,與Hadoop, Spark相比,ClickHouse很輕量級,由俄羅斯第一大搜尋引擎Yandex于2016年6月釋出, 開發語言為C++。

ClickHouse的特點:

1、支援線性擴充,簡單友善,高可靠性;

2、速度快:比Vertica快5倍,比Hive快279倍,比MySQL快800倍,其可處理的資料級别已達到10億級别;

3、功能多:支援資料統計分析各種場景,支援類SQL查詢,異地複制部署。

資料源配置

選擇定制管理->資料管理->資料源,将需要導入的表,從可用資料庫資源,添加進已選資料庫資源。這個頁面因為可用資源過大,可能會提示等待時間過長,點選等待就好。

如果現有的報表資料集是明細資料,也可以從目前資料集進行導入,此步可跳過。

在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析

建立自助資料集

點選自助資料集。

在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析

根據步驟選擇你需要導入的表,可以直接從資料連接配接中選擇資料源,也可以基于現有的資料集。一般我們會選擇直接從Hive庫中加載資料到MPP。

在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析

第一次加載時選擇全量抽取,其他保持預設選擇即可,然後點選立即抽取。

在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析

儲存資料集到對應的目錄下即可,為了區分資料是否在MPP高速緩存庫下,建議可以資料集命名時,增加MPP_字首以和報表資料集做區分。

在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析

儲存完成後,資料會開始抽取,右上角會顯示抽取時間,結束後顯示同步完成。在對應的目錄下,就可以找到剛剛自定義的資料集。

在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析

要注意的是,預設情況下,在立即抽取完成後,系統會自動設定定時抽取。如果不需要定時抽取,則要在設定定時抽取界面裡,取消勾選如下選項。

在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析

開始透視分析

右鍵建立分析,選擇透視分析就可以和往常一樣進行透視分析了,會發現統計計算的速度要比基于Mysql的分析快很多。Enjoy!

在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析
在SmartBI中使用ClickHouse資料源進行透視分析資料源配置建立自助資料集開始透視分析