隨著大數據時代的到來,越來越多企業認識到數據治理的價值。數據治理涉及到企業內各種數據的收集、存儲、處理和分析,包含數據集成、數據質量、數據資產、數據安全、數據標準等各個環節。越來越多企業通過實施有效的數據治理策略,確保自身在激烈的市場競爭中取得優勢。



本質上來講數據治理的對象是企業重要的數據資源,是關乎企業重大商業利益的數據資源,這樣的數據資源可以稱其為“數據資產”。對于數據資源的有效治理能夠幫助企業獲得以下方面的價值:

降低運營成本

通過數據治理可以減少數據的冗余存儲,減少存儲的成本。通過提高數據質量減少出錯的概率,從而降低企業各部門、各口徑的數據統計成本和數據差錯修正的成本。

提高工作效率

從查詢效率、查詢時間、時間成本等角度都可以作為治理收益。比如月度、季度合同及收款報表統計之前要用一個小時,現在用十五分鐘。比如召開季度生產經營例會,之前需要各部門準備會議資料至少2天,現在半天足矣。

賦能企業決策

能夠深入業務、串聯多部門,構建多種數據分析模型、畫像、標簽等方式直接帶來收益,直觀的監測企業運營情況,并可以對異常關鍵指標預警、挖掘分析。

提升數據質量

通過數據故障率、數據及時率、數據完整率等指標進行監控,把控數據質量,出現問題及時修正。

提高數據安全性

通過數據治理過程,明確核心數據的管理責任主體、數據使用主體、數據管理標準和制度等內容,確保企業數據資產的安全。


數據治理的主要方式


結合行業、企業特性及現狀來看,目前企業面對的數據主要來自于已有的軟件系統,例如OA、HR、經營、工程管理、財務管理、CADCAEBIM及各類專業軟件,主要都是企業內部日常產生的數據,并且多以結構化數據為主,這部分數據可以稱之為:企業內部數據。


而在大數據時代,得益于大數據技術的突破,大量的結構化、非結構化、異構化的數據能夠得到儲存、處理、計算和分析,提升了我們從海量數據中獲取知識和洞見的能力,例如外部招采信息、設備材料最新報價、市場動態和熱點等。這部分數據來自企業外部,并且數據量會很大,因此稱之為:企業外部大數據。

企業內部數據治理的方式

企業內部數據治理的核心是“唯一數據源、統一數據標準”,而要達到這一目標需要從數據的源頭抓起,并且需要大量的人為干預 + 一定程度的自動化處理,比如:數據標準的制定和落實、源頭業務系統錄入的規范化處理、已有數據質量的清洗、數據使用的申請審批、數據的分發和共享等。企業內部數據治理追求的是:標準化、精確化、高效化。

企業外部大數據治理的方式

對于大數據,傳統的一味追求精確的思維受到了挑戰。而對于大數據的治理,允許一定程度上的容錯,反而可以在宏觀層面擁有更好的知識和洞察力。對于大數據的治理更多的是采用AI技術,例如:知識圖譜、語音識別等,對大數據的采集、處理、使用過程加以控制,使其能夠合規使用。


數據治理的主要過程

詳細需求及現狀調研,摸清數據家底

與其他軟件項目一樣,詳細需求調研是開展數據治理工作第一階段的重要工作。本階段主要是理解企業的戰略,并按照從上而下的策略進行開展企業數據管理的現狀調研,摸清楚企業數據資產的分布、數據的質量、數據的管理現狀、數據應用需求等情況。該階段的工作目標是確定數據治理項目的目標和范圍,評估數據治理成熟度,確定改進內容和方向并與客戶達成共識。

梳理數據資產,建立數據資產標準

按照業務主題進行數據資產的梳理,并制定數據資產的標準。首先,定義數據資產的數據含義、業務規則、質量規則、數據來源、存儲路徑、管理部門、管理人等,即數據資產的元數據模型,定義好數據模型是數據治理成功落地的重要前提。


其次,重點對企業的核心數據資產——主數據進行標準化,包括:主數據標準化定義、參照字典的標準化、數據清洗、數據服務共享等。

優化數據管理和使用流程,形成制度

對于企業而言,數據來源于很多方面,內部數據如財務、人力、OA、項目、市場等;外部數據如政治、經濟、社會、科技、行業、市場、競爭對手等。雖然數據來源廣、數據量大是優點,但如果不加以整理和關聯,雜亂無章的數據不僅不利于分析應用,還將帶來不必要的人財物的消耗。

所以,非常有必要對數據產生、采集、處理、加工、使用等過程進行規范。通過統一數據標準,制定合理的數據管理流程和制度,規范數據生產和使用的過程。

搭建數據管理平臺,接入數據

數據管理平臺的搭建要根據不同的客戶需求搭建不同模塊,數據管理平臺主要涵蓋功能模塊有:數據源管理、元數據管理、主數據管理、數據質量管理、ETL工具等。


數據接入是將各種來源、各種類型的數據,通過數據集成工具將這些零散的數據整合在一起,納入統一的大數據平平臺或數據倉庫中,這一過程需要符合數據管理平臺定義各種數據標準、質量規則、安全指標。


所以,我們說數據治理不是為了治理數據而建設的,而是配合數據管理平臺、數據倉庫、數據分析等項目,通過提升數據質量、控制數據安全,讓數據發揮出最大的效益。

建立數據質量評估指標,提升數據質量

提升數據質量是企業數據治理的重要目標,也是企業進行數據分析挖掘、業務管理和決策的重要基礎,只有建立完整的數據質量體系,才能有效提升企業數據整體質量,從而更好的為業務服務。從技術層面講,定義完整全面的數據質量的評估維度,包括完整性、時效性等,并按照已定義的維度,在系統建設的各個階段都應該根據標準進行數據質量檢測和規范,及時進行治理,避免事后的清洗工作。

“一把手”推動,提供組織及人員保障

數據治理涉及范圍廣,參與人員多,需要一定的組織和制度的保障才可能獲得成功。首先,依據行業經驗來看,“一把手”工程是數據治理組織建設的最佳實踐。其次,數據治理組織的建立并不是組建一個非臨時團隊,而是要能夠支撐企業數據化業務的一個完整體系,包括:組織體系、管理體系、執行體系、技術體系等。再次,數據治理組織的人員選拔和人才培養,建立數據治理組織從企業內部進行選拔相應的技術專家、業務專家更為合適,或者從外部尋找具有同行業實施經驗比較豐富的外部供應商協同進行。