《NG2-BASS30規(guī)范培訓(xùn)-技術(shù)規(guī)范-元數(shù)據(jù)管理分冊-張韜.pptx》由會員分享，可在線閱讀，更多相關(guān)《NG2-BASS30規(guī)范培訓(xùn)-技術(shù)規(guī)范-元數(shù)據(jù)管理分冊-張韜.pptx（29頁珍藏版）》請在匯文網(wǎng)上搜索。

1、中國移動省級NG2-BASS3.0規(guī)范培訓(xùn)-元數(shù)據(jù)管理分冊29 九月 2022目目 錄錄2 元數(shù)據(jù)管理體系架構(gòu)1 本期規(guī)范修訂目的3 本期規(guī)范新增與主要修訂內(nèi)容4 附件說明修訂背景實現(xiàn)兩級經(jīng)分元數(shù)據(jù)信息互通，保障一、二經(jīng)指標(biāo)口徑一致，使各省上報重點實現(xiàn)兩級經(jīng)分元數(shù)據(jù)信息互通，保障一、二經(jīng)指標(biāo)口徑一致，使各省上報重點一經(jīng)接口的真實匯總過程透明化，在發(fā)生數(shù)據(jù)質(zhì)量問題時兩級系統(tǒng)有共同的溝一經(jīng)接口的真實匯總過程透明化，在發(fā)生數(shù)據(jù)質(zhì)量問題時兩級系統(tǒng)有共同的溝通平臺，并防范部分省公司干擾指標(biāo)真實性通平臺，并防范部分省公司干擾指標(biāo)真實性。修訂背景修訂背景經(jīng)過NG1-BASS2.0元數(shù)據(jù)管理模塊的建設(shè)，各省在

2、元數(shù)據(jù)管理和應(yīng)用方面積累了一些具有推廣價值的經(jīng)驗，同時也發(fā)現(xiàn)了一些存在問題一級經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量依賴于省級經(jīng)營分析系統(tǒng)上傳的接口數(shù)據(jù)質(zhì)量，需要加強兩級經(jīng)營分析系統(tǒng)的數(shù)據(jù)理解一致性和重點接口的數(shù)據(jù)處理過程規(guī)范性；為提升經(jīng)分系統(tǒng)數(shù)據(jù)質(zhì)量，需要建立經(jīng)分與數(shù)據(jù)源系統(tǒng)的協(xié)同管理機制；經(jīng)營分析系統(tǒng)的發(fā)展對提出元數(shù)據(jù)管理模塊提出新的要求，需要增強元模型管理、元數(shù)據(jù)獲取能力和對外服務(wù)能基礎(chǔ)能力，以更好支持經(jīng)分建設(shè)和應(yīng)用。修訂目標(biāo)和思路修訂目標(biāo)修訂目標(biāo)建立經(jīng)營分析系統(tǒng)核心元模型，規(guī)范數(shù)據(jù)處理過程的結(jié)構(gòu)化描述實現(xiàn)兩級經(jīng)營分析系統(tǒng)元數(shù)據(jù)互通，促進重點接口數(shù)據(jù)處理過程規(guī)范化為經(jīng)營分析系統(tǒng)基礎(chǔ)技術(shù)模塊提供支撐，擴充元

3、數(shù)據(jù)服務(wù)接口服務(wù)經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量管理子系統(tǒng)，為源系統(tǒng)聯(lián)動機制提供基礎(chǔ)支撐 修訂思路修訂思路以CWM為基礎(chǔ)面向經(jīng)營分析系統(tǒng)建設(shè)和管理需要進行元模型細(xì)化和擴展，針對關(guān)鍵元數(shù)據(jù)對象建立核心元模型，實現(xiàn)兩級元數(shù)據(jù)互通增強SQL腳本解析，提升數(shù)據(jù)處理邏輯過程的展現(xiàn)能力建立維表庫管理、接口管理機制，支撐數(shù)據(jù)質(zhì)量的源系統(tǒng)協(xié)同機制提供數(shù)據(jù)封裝和數(shù)據(jù)地圖訪問服務(wù)接口，增強元數(shù)據(jù)對外服務(wù)能力目目 錄錄3 本期規(guī)范新增與主要修訂內(nèi)容4 附件說明2 元數(shù)據(jù)管理體系架構(gòu)1 本期規(guī)范修訂目的元數(shù)據(jù)管理模塊在經(jīng)營分析系統(tǒng)中的定位本期修訂內(nèi)容本期修改內(nèi)容本期新增內(nèi)容經(jīng)營分析系統(tǒng)核心元模型兩級經(jīng)分元數(shù)據(jù)互通維表庫管理接口管

4、理數(shù)據(jù)地圖展現(xiàn)數(shù)據(jù)封裝元數(shù)據(jù)客戶隱私信息元數(shù)據(jù)元數(shù)據(jù)變更管理數(shù)據(jù)源接口元數(shù)據(jù)維度數(shù)據(jù)輔助安全管理元數(shù)據(jù)服務(wù)接口（二期）SQL腳本自動解析（二期）二期建設(shè)內(nèi)容目目 錄錄2 元數(shù)據(jù)管理體系架構(gòu)4 附件說明1 本期規(guī)范修訂目的3 本期規(guī)范新增與主要修訂內(nèi)容3.1 元數(shù)據(jù)獲取層p元數(shù)據(jù)獲取新增SQL解析二期內(nèi)容建設(shè) 在原有SQL腳本自動解析一期建設(shè)基礎(chǔ)上，規(guī)范數(shù)據(jù)處理元數(shù)據(jù)的結(jié)構(gòu)化描述、細(xì)化描述粒度、豐富解析效果展現(xiàn)層次，對SQL解析中的關(guān)鍵問題提出處理方法要求：數(shù)據(jù)處理過程元數(shù)據(jù)的生成 SQL腳本對象結(jié)構(gòu)化描述以ClassifierMap對象描述SQL腳本的數(shù)據(jù)轉(zhuǎn)換處理邏輯以RelationalOp

5、erator對象描述SELECT子句的關(guān)系代數(shù)操作以FeatureMap對象細(xì)化描述SQL腳本的關(guān)系操作數(shù)據(jù)處理過程日志規(guī)范要求SQL腳本的上下文關(guān)系處理要求多路徑問題和信息丟失問題處理要求二期建設(shè)：SQL腳本解析日志規(guī)范要求細(xì)化運行日志的輸出形式：日志文件日志表日志內(nèi)容中要求包含：提交到數(shù)據(jù)庫執(zhí)行的SQL腳本創(chuàng)建數(shù)據(jù)庫鏈接的相關(guān)參數(shù)文件導(dǎo)入導(dǎo)出操作不要求包含游標(biāo)操作信息二期建設(shè)：SQL腳本解析腳本程序描述和 SQL片段描述關(guān)系代數(shù)操作及其明細(xì)的描述數(shù)據(jù)轉(zhuǎn)換處理單元描述腳本程序：TransformationTaskSQL片段：TransformationMapCREATE_SELECT句型IN

6、SERT_SELECT句型INSERT_ALL句型UPDATE_SELECT句型MERGE句型RENAME句型簡單Select子句復(fù)雜Select子句投影操作中嵌套SELECT子句FROM子句中嵌套SELECT子句交并差操作SELECT/COMBINATION/INSERTALL/MERGE/RENAME投影操作/交并差操作/改名操作二期建設(shè)：SQL腳本解析SQL腳本上下文信息處理多路徑和信息丟失問題處理要求能夠處理如下上下文相關(guān)類型：改變數(shù)據(jù)庫連接臨時表的處理命名空間的處理SQL腳本循環(huán)執(zhí)行問題自動處理能力：將腳本多次運行日志自動合并對導(dǎo)入導(dǎo)出命令自動解析export/import/unlo

7、ad/load輔助人工處理能力：游標(biāo)處理，可提供告警功能手工補充相關(guān)的元數(shù)據(jù)。3.2 元數(shù)據(jù)存儲層p元數(shù)據(jù)存儲新增內(nèi)容包括：經(jīng)營分析系統(tǒng)核心元模型數(shù)據(jù)封裝元數(shù)據(jù)p增強內(nèi)容包括：維度元數(shù)據(jù)的存儲：對維度元數(shù)據(jù)的屬性要求進行細(xì)化，支撐維表庫管理應(yīng)用數(shù)據(jù)源接口元數(shù)據(jù)的存儲：對接口元數(shù)據(jù)的屬性要求進行細(xì)化，支撐接口管理應(yīng)用pCWM作為數(shù)據(jù)倉庫領(lǐng)域的元模型標(biāo)準(zhǔn)，在元數(shù)據(jù)的集中管理、元數(shù)據(jù)互操作和元數(shù)據(jù)交換方面發(fā)揮重要作用。但是CWM作為一個國際性、廠商無關(guān)、平臺無關(guān)的規(guī)范，本身只提供一個公共的元模型框架，將數(shù)據(jù)倉庫領(lǐng)域的公共特性納入元模型中，而不追求對物理實現(xiàn)的精確定義。p經(jīng)營分析系統(tǒng)核心元模型以CWM

8、元模型為基礎(chǔ)擴展而成，是面向兩級經(jīng)營分析系統(tǒng)元數(shù)據(jù)互通的實際需要對關(guān)鍵元數(shù)據(jù)對象進行精確定義的元模型規(guī)范。新增：經(jīng)營分析系統(tǒng)核心元模型派生新增：數(shù)據(jù)封裝元數(shù)據(jù)p數(shù)據(jù)封裝元數(shù)據(jù)主要包括數(shù)據(jù)封裝服務(wù)開發(fā)生成的邏輯模型，以及邏輯模型與數(shù)據(jù)倉庫/數(shù)據(jù)集市物理模型的映射關(guān)系。p數(shù)據(jù)封裝元數(shù)據(jù)包括四類：邏輯模型實體、邏輯模型字段、映射關(guān)系組、映射關(guān)系邏輯模型實體元模型邏輯對象名稱邏輯對象描述邏輯模型字段元模型字段名稱字段描述字段類型字段長度是否為PK是否關(guān)聯(lián)字段映射關(guān)系組元模型關(guān)系組標(biāo)識邏輯對象運算表達(dá)式映射關(guān)系元模型關(guān)系組標(biāo)識關(guān)系標(biāo)識源對象目標(biāo)對象關(guān)系類型是否主關(guān)聯(lián)3.3 元數(shù)據(jù)功能層p元數(shù)據(jù)功能層新增

9、內(nèi)容包括：基于元數(shù)據(jù)的多層級數(shù)據(jù)地圖展現(xiàn)元數(shù)據(jù)服務(wù)接口二期建設(shè)內(nèi)容p增強內(nèi)容包括：元數(shù)據(jù)變更管理：增加大版本管理功能，支持批量元數(shù)據(jù)定版；支持版本差異分析；支持元數(shù)據(jù)生成修訂記錄功能新增：數(shù)據(jù)地圖展現(xiàn)p 作為元模型規(guī)范化的延伸，統(tǒng)一圖形展現(xiàn)方式，消除圖形表達(dá)的語義理解差異。p 解決圖形展現(xiàn)缺乏層次控制、布局凌亂、難于看懂的現(xiàn)狀。p圖形展現(xiàn)包括：p作業(yè)層圖形展現(xiàn)pSQL語句層的圖形展現(xiàn)和布局作業(yè)層展現(xiàn)數(shù)據(jù)處理邏輯層展現(xiàn)SQL語句層展現(xiàn)數(shù)據(jù)處理邏輯層明細(xì)展現(xiàn)數(shù)據(jù)處理邏輯層的圖形展現(xiàn)數(shù)據(jù)處理邏輯明細(xì)層的圖形展現(xiàn)二期建設(shè)：元數(shù)據(jù)對外服務(wù)接口p一期建設(shè)中，已實現(xiàn)元數(shù)據(jù)封裝原語定義和基礎(chǔ)技術(shù)能力建設(shè)p本期

10、建設(shè)，重點增加元數(shù)據(jù)封裝接口應(yīng)用功能，包括：數(shù)據(jù)封裝元數(shù)據(jù)訪問服務(wù)接口 讀取物理模型元數(shù)據(jù) 寫入數(shù)據(jù)封裝元數(shù)據(jù)數(shù)據(jù)地圖訪問服務(wù)接口 關(guān)系分析圖形接口 包含分析圖形接口3.4 元數(shù)據(jù)應(yīng)用層p元數(shù)據(jù)應(yīng)用新增內(nèi)容包括：兩級經(jīng)分元數(shù)據(jù)互通維表庫管理接口管理p元數(shù)據(jù)應(yīng)用增強內(nèi)容：輔助安全管理新增：兩級經(jīng)營分析系統(tǒng)元數(shù)據(jù)互通p通過實施兩級經(jīng)營分析系統(tǒng)的元數(shù)據(jù)互通，使各省經(jīng)營分析系統(tǒng)數(shù)據(jù)處理過程對集團透明化，促進集團對各省營分析系統(tǒng)的數(shù)據(jù)處理過程的理解，進一步了解各省接口開發(fā)方案、新接口改造的實際進度并加強管理，有助于兩級經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量的整體提升。數(shù)據(jù)倉庫數(shù)據(jù)處理過程源系統(tǒng)接口源系統(tǒng)維度互通內(nèi)容互通元

11、數(shù)據(jù)維護互通元數(shù)據(jù)轉(zhuǎn)換接口校驗結(jié)果處理功能要求XML文件基于互通元數(shù)據(jù)接口標(biāo)準(zhǔn)互通接口新增：維表庫管理p維表庫管理是指基于元數(shù)據(jù)系統(tǒng)，對數(shù)據(jù)源系統(tǒng)維表庫、各省經(jīng)分系統(tǒng)之標(biāo)準(zhǔn)維表庫和集團一經(jīng)維表庫分別進行管理，從而建立一套標(biāo)準(zhǔn)的維表庫體系。實現(xiàn)標(biāo)準(zhǔn)維表庫與源系統(tǒng)維表庫之間的關(guān)聯(lián)管理，旨在有效處理源系統(tǒng)維表庫與標(biāo)準(zhǔn)維表庫之間的維度數(shù)據(jù)統(tǒng)一，促進經(jīng)營分析系統(tǒng)與源系統(tǒng)協(xié)同。維表目錄管理維表登記管理維表數(shù)據(jù)管理維表關(guān)系管理維表分類定義目錄調(diào)整維表登記維表結(jié)構(gòu)定義維表分類整理維表數(shù)據(jù)基本維護管理維表數(shù)據(jù)導(dǎo)入/導(dǎo)出 維表映射關(guān)系 維表映射 字段映射 數(shù)據(jù)映射 維表引用關(guān)系 接口引用 事實表引用維表同步機制、

12、維表變更日志管理、維表信息公告發(fā)布新增：接口管理p省級經(jīng)營分析系統(tǒng)與BOSS、CRM等系統(tǒng)和一級經(jīng)營分析系統(tǒng)以數(shù)據(jù)接口形式進行大量數(shù)據(jù)交互。基于元數(shù)據(jù)進行接口管理，對于接口數(shù)據(jù)規(guī)格、數(shù)據(jù)內(nèi)容以及接口管理過程進行規(guī)范管理，建立接口元數(shù)據(jù)維護機制，提高接口元數(shù)據(jù)質(zhì)量，為源系統(tǒng)變更協(xié)同管理和兩級經(jīng)營系統(tǒng)元數(shù)據(jù)互通奠定基礎(chǔ)。接口管理范圍接口元數(shù)據(jù)獲取接口元數(shù)據(jù)管理、維護查詢分析變更管理對外服務(wù)接口功能要求增強：輔助安全管理p增加客戶隱私信息元數(shù)據(jù)管理，支撐經(jīng)營分析系統(tǒng)安全管理提供客戶隱私信息的基本配置和存儲：提供客戶隱私信息的基本配置和存儲：定義是否為隱私信息：定義是否為隱私信息：附加隱私標(biāo)識附加隱私

13、標(biāo)識定義所屬的隱私類別：定義所屬的隱私類別：為個人客戶隱私、集團客戶隱私或集為個人客戶隱私、集團客戶隱私或集團客戶成員隱私信息。團客戶成員隱私信息。定義具體的隱私屬性：定義具體的隱私屬性：如，如，號碼、地址、客戶姓名等。號碼、地址、客戶姓名等。提供客戶隱私信息服務(wù)接口：提供客戶隱私信息服務(wù)接口：獲取隱私信息相關(guān)的技術(shù)實體：獲取隱私信息相關(guān)的技術(shù)實體：輸入：需要查詢的隱私標(biāo)識、隱私類別或隱私屬性等參數(shù)；輸出：元數(shù)據(jù)實體，如數(shù)據(jù)庫表名和字段名，以及相關(guān)技術(shù)元數(shù)據(jù)屬性。獲取技術(shù)實體的隱私信息定義：獲取技術(shù)實體的隱私信息定義：輸入：技術(shù)元數(shù)據(jù)實體信息，如數(shù)據(jù)庫表名；輸出：該實體的隱私標(biāo)識、隱私類別和隱

14、私屬性等客戶隱私信息定義信息。目目 錄錄2 元數(shù)據(jù)管理體系架構(gòu)3 本期規(guī)范新增與主要修訂內(nèi)容1 本期規(guī)范修訂目的4 附件說明附件一：CWM元數(shù)據(jù)模型結(jié)構(gòu)pCWM模型是OMG組織定義的數(shù)據(jù)倉庫和相關(guān)系統(tǒng)的國際元數(shù)據(jù)標(biāo)準(zhǔn)，CWM標(biāo)準(zhǔn)的目的在于使數(shù)據(jù)倉庫和商業(yè)智能軟件的元數(shù)據(jù)在分布異構(gòu)的數(shù)據(jù)分析工具、數(shù)據(jù)倉庫平臺、元數(shù)據(jù)存儲等系統(tǒng)之間進行。pCWM元模型可用于描述數(shù)據(jù)加工鏈路中各種實體的平臺無關(guān)的公共特性，但是對于特定應(yīng)用場合，CWM元模型可能會缺乏實際應(yīng)用所必須的某些信息的描述能力，這時需要對CWM元模型進行擴展。CWM提供了兩種擴展機制：子類擴展機制TaggedValue和Stereotype擴

15、展機制附件一：CWM元數(shù)據(jù)模型擴展機制從核心包擴展而成的XML元模型Stereotype類和TaggedValue類擴展機制p經(jīng)營分析系統(tǒng)元模型主要包括四個層面：基礎(chǔ)層元模型獲取層元模型數(shù)據(jù)層元模型訪問層元模型。附件一：CWM和經(jīng)分系統(tǒng)元模型的對應(yīng)關(guān)系附件一：經(jīng)分核心元模型對CWM的擴展內(nèi)容從Transformation包的TransformationTask類派生出TransformationTask類和TransformationMap類，用于描述腳本程序和SQL腳本；從Transformation包的Transformation類派生出ClassifierMap類，用于描述腳本程序或者SQL腳本中的轉(zhuǎn)換處理邏輯；表級數(shù)據(jù)處理邏輯到字段級數(shù)據(jù)處理邏輯的臃腫的映射關(guān)系，建立直接從ClassifierMap到FeatureMap的映射；改進Transformation包的輸入輸出，ClassifierMap對象和FeatureMap對象的輸入輸出不僅限于數(shù)據(jù)實體，也可以是其他ClassifierMap對象和其他FeatureMap對象；針對SQL腳本的關(guān)系代數(shù)操作，從CWM核心包的ModelElement類派生出關(guān)系型操作類RelationalOperator及其子類，用于對SQL語句中的連接、選擇、投影、改名、交并差、分組和排序等關(guān)系操作進行結(jié)構(gòu)化描述。謝謝！謝謝！