《NG2BASS30規(guī)范培訓(xùn)技術(shù)規(guī)范元數(shù)據(jù)管理分冊張韜.pdf-匯文網(wǎng)》由會(huì)員分享，可在線閱讀，更多相關(guān)《NG2BASS30規(guī)范培訓(xùn)技術(shù)規(guī)范元數(shù)據(jù)管理分冊張韜.pdf-匯文網(wǎng)（27頁珍藏版）》請?jiān)趨R文網(wǎng)上搜索。

1、目 錄 2 元數(shù)據(jù)管理體系架構(gòu) 1 本期規(guī)范修訂目的 3 本期規(guī)范新增與主要修訂內(nèi)容 4 附件說明 修訂背景 實(shí)現(xiàn)兩級經(jīng)分元數(shù)據(jù)信息互通，保障一、二經(jīng)指標(biāo)口徑一致，使各省上報(bào)重 點(diǎn)一經(jīng)接口的真實(shí)匯總過程透明化，在發(fā)生數(shù)據(jù)質(zhì)量問題時(shí)兩級系統(tǒng)有共同 的溝通平臺(tái)，并防范部分省公司干擾指標(biāo)真實(shí)性 。 修訂背景 經(jīng)過 NG1-BASS2.0元數(shù)據(jù)管理模 塊的建設(shè)，各省在元數(shù)據(jù)管理和應(yīng) 用方面積累了一些具有推廣價(jià)值的 經(jīng)驗(yàn)，同時(shí)也發(fā)現(xiàn)了一些存在問題 一級經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量依賴于 省級經(jīng)營分析系統(tǒng)上傳的接口數(shù)據(jù)質(zhì) 量，需要加強(qiáng)兩級經(jīng)營分析系統(tǒng)的數(shù) 據(jù)理解一致性和重點(diǎn)接口的數(shù)據(jù)處理 過程規(guī)范性； 為提升經(jīng)分

2、系統(tǒng)數(shù)據(jù)質(zhì)量，需 要建立經(jīng)分與數(shù)據(jù)源系統(tǒng)的協(xié)同 管理機(jī)制； 經(jīng)營分析系統(tǒng)的發(fā)展對提出元數(shù) 據(jù)管理模塊提出新的要求，需要增 強(qiáng)元模型管理、元數(shù)據(jù)獲取能力和 對外服務(wù)能基礎(chǔ)能力，以更好支持 經(jīng)分建設(shè)和應(yīng)用。 修訂目標(biāo)和思路 修訂目標(biāo) 建立經(jīng)營分析系統(tǒng)核心元模型，規(guī)范數(shù)據(jù)處理過程的結(jié)構(gòu)化描述 實(shí)現(xiàn)兩級經(jīng)營分析系統(tǒng)元數(shù)據(jù)互通，促進(jìn)重點(diǎn)接口數(shù)據(jù)處理過程規(guī)范化 為經(jīng)營分析系統(tǒng)基礎(chǔ)技術(shù)模塊提供支撐，擴(kuò)充元數(shù)據(jù)服務(wù)接口 服務(wù)經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量管理子系統(tǒng)，為源系統(tǒng)聯(lián)動(dòng)機(jī)制提供基礎(chǔ)支撐 修訂思路 以 CWM為基礎(chǔ)面向經(jīng)營分析系統(tǒng)建設(shè)和管理需要進(jìn)行元模型細(xì)化和擴(kuò)展， 針對關(guān)鍵元數(shù)據(jù)對象建立核心元模型，實(shí)現(xiàn)兩級元數(shù)

3、據(jù)互通 增強(qiáng) SQL腳本解析，提升數(shù)據(jù)處理邏輯過程的展現(xiàn)能力 建立維表庫管理、接口管理機(jī)制，支撐數(shù)據(jù)質(zhì)量的源系統(tǒng)協(xié)同機(jī)制 提供數(shù)據(jù)封裝和數(shù)據(jù)地圖訪問服務(wù)接口，增強(qiáng)元數(shù)據(jù)對外服務(wù)能力 目 錄 3 本期規(guī)范新增與主要修訂內(nèi)容 4 附件說明 2 元數(shù)據(jù)管理體系架構(gòu) 1 本期規(guī)范修訂目的 元數(shù)據(jù)管理模塊在經(jīng)營分析系統(tǒng)中的定位 本期修訂內(nèi)容 本期 修改 內(nèi)容 本期 新增 內(nèi)容 經(jīng)營分析系統(tǒng)核心元模型 兩級經(jīng)分元數(shù)據(jù)互通 維表庫管理 接口管理 數(shù)據(jù)地圖展現(xiàn) 數(shù)據(jù)封裝元數(shù)據(jù) 客戶隱私信息元數(shù)據(jù) 元數(shù)據(jù)變更管理 數(shù)據(jù)源接口元數(shù)據(jù) 維度數(shù)據(jù) 輔助安全管理 元數(shù)據(jù)服務(wù)接口（二期） SQL腳本自動(dòng)解析（二期） 二期

4、建設(shè) 內(nèi)容 目 錄 2 元數(shù)據(jù)管理體系架構(gòu) 4 附件說明 1 本期規(guī)范修訂目的 3 本期規(guī)范新增與主要修訂內(nèi)容 3.1 元數(shù)據(jù)獲取層 元數(shù)據(jù)獲取新增 SQL解析二期內(nèi)容建設(shè) 在原有 SQL腳本自動(dòng)解析一期建設(shè)基礎(chǔ)上，規(guī)范數(shù)據(jù)處理元數(shù)據(jù)的結(jié) 構(gòu)化描述、細(xì)化描述粒度、豐富解析效果展現(xiàn)層次，對 SQL解析中的 關(guān)鍵問題提出處理方法要求： 數(shù)據(jù)處理過程元數(shù)據(jù)的生成 SQL腳本對象結(jié)構(gòu)化描述 以 ClassifierMap對象描述 SQL腳本的數(shù)據(jù)轉(zhuǎn)換處理邏輯 以 RelationalOperator對象描述 SELECT子句的關(guān)系代數(shù)操作 以 FeatureMap對象細(xì)化描述 SQL腳本的關(guān)系操作 數(shù)

5、據(jù)處理過程日志規(guī)范要求 SQL腳本的上下文關(guān)系處理要求 多路徑問題和信息丟失問題處理要求 二期建設(shè)： SQL腳本解析 日志規(guī)范要求細(xì)化 運(yùn)行日志的輸出形式： 日志文件 日志表 日志內(nèi)容中要求包含： 提交到數(shù)據(jù)庫執(zhí)行的 SQL腳 本 創(chuàng)建數(shù)據(jù)庫鏈接的相關(guān)參 數(shù) 文件導(dǎo)入導(dǎo)出操作 不要求包含游標(biāo)操作信息 二期建設(shè)： SQL腳本解析 腳本程序描述和 SQL片段描 述 關(guān)系代數(shù)操作及其明細(xì)的描述 數(shù)據(jù)轉(zhuǎn)換處理單元描 述 腳本程序： TransformationTask SQL片段： TransformationMap CREATE_SELECT句型 INSERT_SELECT句型 INSERT_ALL

6、句型 UPDATE_SELECT句型 MERGE句型 RENAME句型 簡單 Select子句 復(fù)雜 Select子句 投影操作中嵌套 SELECT子句 FROM子句中嵌套 SELECT子句 交并差操作 SELECT / COMBINATION / INSERTALL / MERGE / RENAME 投影操作 /交并差操作 /改名操作 二期建設(shè)： SQL腳本解析 SQL腳本上下文信息處理 多路徑和信息丟失問題處理 要求能夠處理如下上下文相關(guān)類型： 改變數(shù)據(jù)庫連接 臨時(shí)表的處理 命名空間的處理 SQL腳本循環(huán)執(zhí)行 問題自動(dòng)處理能力： 將腳本多次運(yùn)行日志自動(dòng)合并 對導(dǎo)入導(dǎo)出命令自動(dòng)解析 expo

7、rt/import/unload/load 輔助人工處理能力： 游標(biāo)處理，可提供告警功能 手工補(bǔ)充相關(guān)的元數(shù)據(jù)。 3.2 元數(shù)據(jù)存儲(chǔ)層 元數(shù)據(jù)存儲(chǔ)新增內(nèi)容包括： 經(jīng)營分析系統(tǒng)核心元模型 數(shù)據(jù)封裝元數(shù)據(jù) 增強(qiáng)內(nèi)容包括： 維度元數(shù)據(jù)的存儲(chǔ)：對維度元數(shù)據(jù)的屬性要求進(jìn)行細(xì)化，支撐維 表庫管理應(yīng)用 數(shù)據(jù)源接口元數(shù)據(jù)的存儲(chǔ)：對接口元數(shù)據(jù)的屬性要求進(jìn)行細(xì)化， 支撐接口管理應(yīng)用 CWM作為數(shù)據(jù)倉庫領(lǐng)域的元模型標(biāo)準(zhǔn)，在元數(shù)據(jù)的集中管理、元數(shù) 據(jù)互操作和元數(shù)據(jù)交換方面發(fā)揮重要作用。但是 CWM作為一個(gè)國際 性、廠商無關(guān)、平臺(tái)無關(guān)的規(guī)范，本身只提供一個(gè)公共的元模型框架， 將數(shù)據(jù)倉庫領(lǐng)域的公共特性納入元模型中，而不追

8、求對物理實(shí)現(xiàn)的精 確定義。 經(jīng)營分析系統(tǒng)核心元模型以 CWM元模型為基礎(chǔ)擴(kuò)展而成，是面向兩 級經(jīng)營分析系統(tǒng)元數(shù)據(jù)互通的實(shí)際需要對關(guān)鍵元數(shù)據(jù)對象進(jìn)行精確定 義的元模型規(guī)范。 新增：經(jīng)營分析系統(tǒng)核心元模型 派生 新增：數(shù)據(jù)封裝元數(shù)據(jù) 數(shù)據(jù)封裝元數(shù)據(jù)主要包括數(shù)據(jù)封裝服務(wù)開發(fā)生成的邏輯模型，以及邏 輯模型與數(shù)據(jù)倉庫 /數(shù)據(jù)集市物理模型的映射關(guān)系。 數(shù)據(jù)封裝元數(shù)據(jù)包括四類：邏輯模型實(shí)體、邏輯模型字段、映射關(guān)系 組、映射關(guān)系 邏輯模型實(shí)體元模型 邏輯對象名稱 邏輯對象描述 邏輯模型字段元模 型 字段名稱 字段描述 字段類型 字段長度 是否為 PK 是否關(guān)聯(lián)字 段 映射關(guān)系組元模 型 關(guān)系組標(biāo)識(shí) 邏輯對象

9、運(yùn)算表達(dá)式 映射關(guān)系元模 型 關(guān)系組標(biāo)識(shí) 關(guān)系標(biāo)識(shí) 源對象 目標(biāo)對象 關(guān)系類型 是否主關(guān)聯(lián) 3.3 元數(shù)據(jù)功能層 元數(shù)據(jù)功能層新增內(nèi)容包括： 基于元數(shù)據(jù)的多層級數(shù)據(jù)地圖展現(xiàn) 元數(shù)據(jù)服務(wù)接口二期建設(shè)內(nèi)容 增強(qiáng)內(nèi)容包括： 元數(shù)據(jù)變更管理：增加大版本管理功能，支持批量元數(shù)據(jù)定版； 支持版本差異分析；支持元數(shù)據(jù)生成修訂記錄功能 新增：數(shù)據(jù)地圖展現(xiàn) 作為元模型規(guī)范化的延伸，統(tǒng)一圖形展現(xiàn)方式，消除圖形表達(dá)的語義 理解差異。 解決圖形展現(xiàn)缺乏層次控制、布局凌亂、難于看懂的現(xiàn)狀。 圖形展現(xiàn)包括： 作業(yè)層圖形展現(xiàn) SQL語句層的圖形展現(xiàn)和布局作業(yè)層 展現(xiàn) 數(shù)據(jù)處理邏輯層展現(xiàn) SQL語句層展現(xiàn) 數(shù)據(jù)處理邏輯層明細(xì)

10、展現(xiàn) 數(shù)據(jù)處理邏輯層的圖形展現(xiàn) 數(shù)據(jù)處理邏輯明細(xì)層的圖形展現(xiàn) 二期建設(shè)：元數(shù)據(jù)對外服務(wù)接口 一期建設(shè)中，已實(shí)現(xiàn)元數(shù)據(jù)封裝原語定義和基礎(chǔ)技術(shù)能力建設(shè) 本期建設(shè)，重點(diǎn)增加元數(shù)據(jù)封裝接口應(yīng)用功能，包括： 數(shù)據(jù)封裝元數(shù)據(jù)訪問服務(wù)接口 讀取物理模型元數(shù)據(jù) 寫入數(shù)據(jù)封裝元數(shù)據(jù) 數(shù)據(jù)地圖訪問服務(wù)接口 關(guān)系分析圖形接口 包含分析圖形接口 3.4 元數(shù)據(jù)應(yīng)用層 元數(shù)據(jù)應(yīng)用新增內(nèi)容包括： 兩級經(jīng)分元數(shù)據(jù)互通 維表庫管理 接口管理 元數(shù)據(jù)應(yīng)用增強(qiáng)內(nèi)容： 輔助安全管理 新增：兩級經(jīng)營分析系統(tǒng)元數(shù)據(jù)互 通通過實(shí)施兩級經(jīng)營分析系統(tǒng)的元數(shù)據(jù)互通，使各省經(jīng)營分析系統(tǒng)數(shù)據(jù) 處理過程對集團(tuán)透明化，促進(jìn)集團(tuán)對各省營分析系統(tǒng)的數(shù)據(jù)處

11、理過程 的理解，進(jìn)一步了解各省接口開發(fā)方案、新接口改造的實(shí)際進(jìn)度并加 強(qiáng)管理，有助于兩級經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量的整體提升。 數(shù)據(jù)倉庫 數(shù)據(jù)處理過程 源系統(tǒng)接口 源系統(tǒng)維度 互通內(nèi)容 互通元數(shù)據(jù)維護(hù) 互通元數(shù)據(jù)轉(zhuǎn)換接口 校驗(yàn)結(jié)果處理 功能要求 XML文件 基于互通元數(shù)據(jù) 接口標(biāo)準(zhǔn) 互通接口 新增：維表庫管理 維表庫管理是指基于元數(shù)據(jù)系統(tǒng)，對數(shù)據(jù)源系統(tǒng)維表庫、各省經(jīng)分系 統(tǒng)之標(biāo)準(zhǔn)維表庫和集團(tuán)一經(jīng)維表庫分別進(jìn)行管理，從而建立一套標(biāo)準(zhǔn) 的維表庫體系。實(shí)現(xiàn)標(biāo)準(zhǔn)維表庫與源系統(tǒng)維表庫之間的關(guān)聯(lián)管理，旨 在有效處理源系統(tǒng)維表庫與標(biāo)準(zhǔn)維表庫之間的維度數(shù)據(jù)統(tǒng)一，促進(jìn)經(jīng) 營分析系統(tǒng)與源系統(tǒng)協(xié)同。 維表目錄管理 維表登

12、記管理 維表數(shù)據(jù)管理 維表關(guān)系管理 維表分類定義 目錄調(diào)整 維表登記 維表結(jié)構(gòu)定義 維表分類整理 維表數(shù)據(jù)基本 維護(hù)管理 維表數(shù)據(jù)導(dǎo)入 / 導(dǎo)出 維表映射關(guān)系 維表映射 字段映射 數(shù)據(jù)映射 維表引用關(guān)系 接口引用 事實(shí)表引用維表同步機(jī)制、維表變更日志管理、維表信息公告發(fā)布 新增：接口管理 省級經(jīng)營分析系統(tǒng)與 BOSS、 CRM等系統(tǒng)和一級經(jīng)營分析系統(tǒng)以數(shù)據(jù) 接口形式進(jìn)行大量數(shù)據(jù)交互?；谠獢?shù)據(jù)進(jìn)行接口管理，對于接口數(shù) 據(jù)規(guī)格、數(shù)據(jù)內(nèi)容以及接口管理過程 進(jìn)行規(guī)范管理，建立接口元數(shù)據(jù) 維護(hù)機(jī)制，提高接口元數(shù)據(jù)質(zhì)量，為源系統(tǒng)變更協(xié)同管理和兩級經(jīng)營 系統(tǒng)元數(shù)據(jù)互通奠定基礎(chǔ)。 接口管理范圍 接口元數(shù)據(jù)獲

13、取 接口元數(shù)據(jù)管理、維護(hù) 查詢分析 變更管理 對外服務(wù)接口 功能要求 增強(qiáng)：輔助安全管理 增加客戶隱私信息元數(shù)據(jù)管理，支撐經(jīng)營分析系統(tǒng)安全管理 提供客戶隱私信息的基本配置和存儲(chǔ)： 定義是否為隱私信息： 附加隱私標(biāo)識(shí) 定義所屬的隱私類別： 為個(gè)人客戶隱私、集團(tuán)客戶隱私或集 團(tuán)客戶成員隱私信息。 定義具體的隱私屬性： 如，手機(jī)號碼、地址、客戶姓名等。 提供客戶隱私信息服務(wù)接口： 獲取隱私信息相關(guān)的技術(shù)實(shí)體： 輸入： 需要查詢的隱私標(biāo)識(shí)、隱私類別或 隱私屬性 等參數(shù)； 輸出： 元數(shù)據(jù)實(shí)體，如數(shù)據(jù)庫表名和字段 名，以及相關(guān)技術(shù)元數(shù)據(jù)屬性 。 獲取技術(shù)實(shí)體的隱私信息定義： 輸入： 技術(shù)元數(shù)據(jù)實(shí)體信息，如

14、數(shù)據(jù)庫表 名 ； 輸出： 該實(shí)體的隱私標(biāo)識(shí)、隱私類別和隱 私屬性等客戶隱私信息定義信息。 目 錄 2 元數(shù)據(jù)管理體系架構(gòu) 3 本期規(guī)范新增與主要修訂內(nèi)容 1 本期規(guī)范修訂目的 4 附件說明 附件一： CWM元數(shù)據(jù)模型結(jié)構(gòu) CWM模型是 OMG組織定義的數(shù)據(jù)倉庫和相關(guān)系統(tǒng)的國際元數(shù)據(jù)標(biāo)準(zhǔn)， CWM標(biāo)準(zhǔn)的目的在于使數(shù)據(jù)倉庫和商業(yè)智能軟件的元數(shù)據(jù)在分布異 構(gòu)的數(shù)據(jù)分析工具、數(shù)據(jù)倉庫平臺(tái)、元數(shù)據(jù)存儲(chǔ)等系統(tǒng)之間進(jìn)行。 CWM元模型可用于描述數(shù)據(jù)加工鏈路中各種實(shí)體的平臺(tái)無關(guān)的公共 特性，但是對于特定應(yīng)用場合， CWM元模型可能會(huì)缺乏實(shí)際應(yīng)用所 必須的某些信息的描述能力，這時(shí)需要對 CWM元模型進(jìn)行擴(kuò)展。

15、CWM提供了兩種擴(kuò)展機(jī)制： 子類擴(kuò)展機(jī)制 TaggedValue和 Stereotype擴(kuò)展機(jī)制 附件一： CWM元數(shù)據(jù)模型擴(kuò)展機(jī)制 從核心包擴(kuò)展而成的 XML元模型 Stereotype類和 TaggedValue類擴(kuò)展機(jī)制 經(jīng)營分析系統(tǒng)元模型主要包括四個(gè)層面： 基礎(chǔ)層元模型 獲取層元模型 數(shù)據(jù)層元模型 訪問層元模型。 附件一： CWM和經(jīng)分系統(tǒng)元模型的對應(yīng)關(guān)系 附件一：經(jīng)分核心元模型對 CWM的 擴(kuò)展內(nèi)容 從 Transformation包的 TransformationTask類 派生出 TransformationTask類和 TransformationMap類，用于描述腳本程序和

16、SQL腳本； 從 Transformation包的 Transformation類派生 出 ClassifierMap類，用于描述腳本程序或者 SQL腳本中的轉(zhuǎn)換處理邏輯； 表級數(shù)據(jù)處理邏輯到字段級數(shù)據(jù)處理邏輯的臃 腫的映射關(guān)系，建立直接從 ClassifierMap到 FeatureMap的映射； 改進(jìn) Transformation包的輸入輸出， ClassifierMap對象和 FeatureMap對象的輸入 輸出不僅限于數(shù)據(jù)實(shí)體，也可以是其他 ClassifierMap對象和其他 FeatureMap對象； 針對 SQL腳本的關(guān)系代數(shù)操作，從 CWM核心包 的 ModelElement類派生出關(guān)系型操作類 RelationalOperator及其子類，用于對 SQL語 句中的連接、選擇、投影、改名、交并差、分組 和排序等關(guān)系操作進(jìn)行結(jié)構(gòu)化描述。