資料倉庫建設持續改進資料品質

從實施中國電信6省營銷分析情況來看，資料品質改進普遍存在如何定義資料品質評價标準、如何實作資料品質管理的閉環過程、如何界定資料品質改進過程中各系統間的功能邊界三個難點問題。

資料品質改進案例分析

從實施中國電信6省營銷分析情況來看，資料品質改進普遍存在如何定義資料品質評價标準、如何實作資料品質管理的閉環過程、如何界定資料品質改進過程中各系統間的功能邊界三個難點問題。

如何定義資料品質評價标準——首先前端、後端、管控部門根據其專業對資料的不同要求，評價标準各有不同（如後端業務支撐部門對資料的要求是保障其系統的正常運作；前端業務部門對資料的要求是真實反映市場情況；管控部門要求資料要和财務報表保持一緻）。資料倉庫建設也要結合實際情況，合理制定各階段資料品質評價标準，以保障系統建設的順利進行。

如何實作資料品質管理的閉環過程——在實際操作中，由于沒有形成資料品質的改進閉環，很容易出現“前清後亂”的情況，這需要制定一個完善的資料品質管理流程，以實作資料品質的持續改進。

如何界定資料品質改進過程中各系統間的功能邊界——資料品質問題牽涉到提供源資料的生産系統和資料倉庫系統，在品質改進中必然存在由誰來進行改進的問題，界定改進過程中系統間功能邊界也是資料品質管理的難點問題。

針對這三個問題，通常在各省基本采用以下方法加以解決

◎建立由管理層牽頭的資料管理機構，推動資料品質的改進工作

資料品質改進與管理的關系密不可分。在資料品質的管理上，需要建立一個由省公司主管部門牽頭，相關部門和內建商參與的項目小組負責資料品質标準定義和控制。責任人落實到各個分公司的生産系統業務主管或省公司各生産系統業務主管。如果發現有品質問題向各個本地網分公司進行通報，進而保障了資料品質改進的有效推行。

◎制定可操作的資料品質管理制度

管理部門需要和內建商一起根據實際情況制定可操作的管理制度，主要的管理制度包括，分階段定義的資料品質目标、資料評價辦法、資料管控流程、統一編碼、資料核對規則等。

◎完善的資料品質控制流程是持續改進的基礎

在進行資料品質改進實施過程中，需要根據資料品質問題的特點制定一套資料品質控制流程，為提高資料品質水準起到了關鍵的作用。

◎ETL集中監控和中繼資料管理的技術實作

自行開發了ETL集中監控子產品和中繼資料管理功能子產品。

在中繼資料管理中對資料和處理過程做了定義，使用者有了一個資料倉庫地圖。如果資料源或者抽取邏輯發生變化，使用者可以分析對其他中繼資料的影響。

通過ETL集中監控子產品可以對資料的整體處理流程進行定義；将資料品質評價标準以資料校驗程式化，并作為流程中的一個環節配置到流程中；使用者可以對處理過程實施監控，對于資料異常能夠及時得到告警資訊和錯誤報告。

通過以上措施，在資料品質上可以取得以下實際效果：

資料整合過程得以規範化，也減輕了維護人員的工作負擔。

各級人員對資料品質變得敏感，如果發現有品質問題向各個本地網分公司進行通報，從上司到具體責任人都關心資料品質問題，提高了相關人員對資料品質的重視程度和工作責任心。

資料品質穩步提高，例如通過對計費、九七、管道系統客戶資料的對比、過濾、合并等方法，使得客戶資料逐漸趨于完整和一緻。

持續改進思路

通過資料清理，将逐漸形成完整和準确的企業資料視圖，為經營分析和生産支撐提供可靠的資料來源。

由于資料源系統會不斷更新，同時經營分析系統的資料模型也存在優化和發展。資料品質是一個持續改進、反複疊代、螺旋上升的過程。資料品質任重道遠，不可能一勞永逸，要作為長期的任務來抓。

例如在客戶資料的清理上，可以按照“先大客戶，然後商業客戶，再次公衆客戶”，在客戶屬性上“先保證客戶消費屬性，後社會屬性”的思路做清理。對每一種客戶類型也可以劃分成幾個階段：

第一階段 整理客戶、使用者、帳戶三戶模型，通過歸并、篩選、補充等方法在現有生産系統上先建立起統一的客戶辨別、帳戶辨別、使用者（銷售品執行個體）辨別；建立起客戶與使用者之間的對應關系、客戶與帳戶的對應關系，使用者與帳戶之間的對應關系。

第二階段 整理産品/銷售品，定義新的産品目錄表，按産品/優惠套餐定義銷售品目錄；将原有産品映射到新定義的産品目錄表中；将新功能映射成附屬産品；并定義出産品與産品執行個體對應關系、産品執行個體間的對應關系、産品執行個體與定價計劃和客戶協定之間的對應關系。

第三階段 補充客戶社會屬性，通過第一階段和第二階段建立起客戶消費屬性，再通過CRM系統和CSS系統補充客戶社會屬性，形成統一的企業客戶視圖。