greenplum 檢測傾斜率高的表shell腳本

目錄

greenplum-table-percentage

項目結構介紹

運作項目輸出詳細日志如下

遇到警告資訊如下

生成的CSV檔案格式如下

greenplum-table-percentage

此項目主要檢測greenplum叢集中膨脹的表,經過檢測會生成一個csv檔案，以便技術人員分析原因及解決問題
           

項目結構介紹

greenplum-table-percentage.sh
	主腳本,修改以下資訊即可運作改腳本。
	1、修改該腳本中的資料庫連接配接資訊
	2、修改需要檢測的schema_inspect,添加時請以英文逗号分割,例如:main,history
	3、運作完改腳本會在log/20190603/table-percentage/下生成一個csv檔案,該檔案是以膨脹率都排序


log 
	日志目錄,主要記錄臨時的生産的檔案,以及檢測結果檔案

	20190603 
		目前檢測的日期檔案

		table-percentage
			最後生産csv的檔案夾
		temp-percentage-results
			存放腳本生産的臨時檔案

table-percentage-sql

	all-table.sql-ori
		檢視制定schema下的所有的表

	table-percentage.sql-ori
		檢視制定表的膨脹率
           

運作項目輸出詳細日志如下

time sh greenplum-table-percentage.sh
*****************
進度的百分比為: 18.18% 	 目前的行212 總行 1166 	 目前的表 data_quality.*********
進度的百分比為: 99.97%   目前的行10647 總行 10650        目前的表 summary.*******
進度的百分比為: 99.98%   目前的行10648 總行 10650        目前的表 summary.********
進度的百分比為: 99.99%   目前的行10649 總行 10650        目前的表 summary.***********
進度的百分比為: 100.00%          目前的行10650 總行 10650        目前的表 summary.********
表的傾斜率檢測完畢,請下載下傳 greenplum-table-percentage/log/20190603/table-percentage/20190603-finish.csv  csv檔案,以便分析結果......
           

遇到警告資訊如下

當出現以下錯誤時說明有的表沒有收集相關的統計資訊,可使用命更新表的統計資訊 analyze tablename 

psql:greenplum-table-percentage/table-percentage-sql/table-percentage.sql:1:NOTICE:One or more columns in the following table(s) do not have statistics: ******
HINT:  For non-partitioned tables, run analyze <table_name>(<column_list>). For partitioned tables, run analyze
           

生成的CSV檔案格式如下

表名,最大segment的行,最小segment的行,傾斜率(%),表的大小,表的分布鍵
datafix.enterp*******,10362661,84146,99,95GB, by (s_ext_nodenum)
data_quality.dq_qg_*******,107,1,99,26kB, by (entid)
data_quality.f_ent_*******,16495396,140377,99,5503MB, by (s_ext_nodenum)
data_quality.f_ent_*******,12777242,107989,99,7824MB, by (s_ext_nodenum)
data_quality.f_ent_*******,12759334,107950,99,7315MB, by (s_ext_nodenum)