數據質量管理在電力安全生產信息係統中的應用
學術交流
作者:楊璽 譚健聰 張俊
【摘要】企業的數據質量與業務績效之間存在著直接聯係,高質量的數據是提高企業精細化管理水平、推動管理提升的重要支撐。本文重點研究數據質量應該包含哪些方麵的內容,以及通過什麼樣的步驟或方法對數據質量進行管理和監控,並以電力安全生產設備數據為基礎,講述如何通過信息係統提升生產設備數據的質量。
【關鍵詞】數據質量;業務績效;信息係統;現狀
1.數據質量背景
南方電網公司2012年工作會議明確提出要“著力提高精細化管理水平”,紮實開展“管理提升年”活動,推進公司整體管理水平的提升。隨著公司信息化建設的不斷深入,對數據信息的需求量越來越大、要求越來越高,數據質量的高低直接影響和決定著業務數據、統計信息的有用性及其價值,直接關係到公司的經濟效益、社會效益以及公司管理和發展的順利進行,因此迫切需要開展數據質量專項工程,切實落實“突出抓好數據質量”的要求,深化應用信息化手段,推動管理提升和管理精細化。
2.數據質量現狀
經過多年信息化建設,公司在數據質量管理方麵取得了一定的成效,整體數據質量得到了一定提升。但是在傳統管理模式下,還存在諸如缺乏統一管理、數據源不唯一、責任不明確、缺乏企業資源統一建模以及數據標準執行不到位等問題。以安全生產設備為例,問題主要如下:
(1)缺乏統一管理:目前設備涵蓋了變電、輸電、配電網,變電和輸電設備的管理主要在主網生產或資產係統中集中管理,而配網設備則是在營配一體化或配網生產係統中,管理源頭不統一。
(2)數據源不唯一:主網生產係統、資產係統、營配一體化係統、配網生產係統由不同的廠家在不同時期建設,數據要求不統一,導致數據源不統一。
(3)責任不明確:設備數據的建立橫跨了工程、物資、生產、財務等多個部門,涉及的業務部門多、數據複雜、信息量大,數據未進行很好的職責劃分,導致業務部門在數據信息的錄入和管理上缺乏指導及考核,數據的質量不高,管理混亂。
(4)缺乏統一建模:由於係統建設的周期不一致,對設備的數據的應用範圍要求也不一致,未形成統一的設備模型,導致同類設備,在元數據模型上存在差異,影響到數據分析及數據質量。
3.數據質量概述
數據質量也就是信息質量,不良的數據將產生不準確的信息和較差的業務績效。在係統建設的不同階段,對數據質量的關注點也有所不同。早期對數據質量的關注點主要是提高數據準確性,隨著係統功能和定位的不斷延伸,關注的重點逐步由數據準確性擴展至完整性、一致性、及時性等方麵,這些內容也屬於數據質量的範疇。
數據質量好不好,首先需要考慮數據質量六大基本要素是否滿足,所謂六大基本要素是指:
完整性:主要包括實體不缺失、屬性不缺失、記錄不缺失和字段值不缺失四個方麵;
(1)唯一性:指主鍵唯一和候選鍵唯一兩個方麵;
(2)一致性:指統一數據來源、統一存儲和統一數據口徑;
(3)精確度:指計量誤差、度量單位等方麵的精確程度;
(4)合法性:主要包括格式、類型、域值和業務規則的有效性;
(5)及時性:指數據刷新、修改和提取等操作的及時性和快速性。
4.影響因素分析
影響數據質量的因素主要來源於四方麵:信息因素、技術因素、流程因素和管理因素。
4.1 信息因素
由於對數據本身的描述理解及其度量標準的偏差而造成的數據質量問題,產生這部分數據質量問題的原因主要有:
(1)元數據描述及理解錯誤、數據度量的各種性質得不到保證和變化頻度不恰當等。
(2)元數據描述及理解錯誤中的相關元數據主要包括業務描述、業務規則、業務術語、業務指標口徑等。
(3)數據度量和變化頻度提供了衡量數據質量好壞的手段。數據度量主要包括完整性、唯一性、一致性、準確性、合法性。變化頻度主要包括業務係統數據的變化周期和實體數據的刷新周期。
4.2 技術因素
主要是指由於具體數據處理的各技術環節的異常造成的數據質量問題,它產生的直接原因是技術實現上的某種缺陷。數據質量問題的產生環節主要包括數據創建、數據獲取、數據傳輸、數據裝載、數據使用、數據維護等方麵的內容。
4.3 流程因素
由於係統作業流程和人工操作流程設置不當造成的數據質量問題,主要來源於係統數據的創建流程、傳遞流程、裝載流程、使用流程、維護流程和稽核流程等各環節: