ISO38505數(shù)據(jù)治理符合性評價認(rèn)證標(biāo)準(zhǔn)應(yīng)用的內(nèi)容及實施步驟
從技術(shù)實施角度看，數(shù)據(jù)治理包含“理”“采”“存”“管”“用”這五個步驟，即業(yè)務(wù)和數(shù)據(jù)資源梳理、數(shù)據(jù)采集清洗、數(shù)據(jù)庫設(shè)計和存儲、數(shù)據(jù)管理、數(shù)據(jù)使用。
數(shù)據(jù)資源梳理：數(shù)據(jù)治理的第一個步驟是從業(yè)務(wù)的視角厘清組織的數(shù)據(jù)資源環(huán)境和數(shù)據(jù)資源清單，包含組織機(jī)構(gòu)、業(yè)務(wù)事項、信息系統(tǒng)，以及以數(shù)據(jù)庫、網(wǎng)頁、文件和 API 接口形式存在的數(shù)據(jù)項資源，本步驟的輸出物為分門別類的數(shù)據(jù)資源清單。
數(shù)據(jù)采集清洗：通過可視化的 ETL 工具(例如阿里的 DataX，Pentaho Data Integration)將數(shù)據(jù)從來源端經(jīng)過抽取 (extract)、轉(zhuǎn)換 (transform)、加載 (load) 至目的端的過程，目的是將散落和零亂的數(shù)據(jù)集中存儲起來。
基礎(chǔ)庫主題庫建設(shè)：一般情況下，可以將數(shù)據(jù)分為基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)主題數(shù)據(jù)和分析數(shù)據(jù)。基礎(chǔ)數(shù)據(jù)一般指的是核心實體數(shù)據(jù)，或稱主數(shù)據(jù)，例如智慧城市中的人口、法人、地理信息、信用、電子證照等數(shù)據(jù)。主題數(shù)據(jù)一般指的是某個業(yè)務(wù)主題數(shù)據(jù)，例如市場監(jiān)督管理局的食品監(jiān)管、質(zhì)量監(jiān)督檢查、企業(yè)綜合監(jiān)管等數(shù)據(jù)。而分析數(shù)據(jù)指的是基于業(yè)務(wù)主題數(shù)據(jù)綜合分析而得的分析結(jié)果數(shù)據(jù)，例如市場監(jiān)督管理局的企業(yè)綜合評價、產(chǎn)業(yè)區(qū)域分布、高危企業(yè)分布等。那么基礎(chǔ)庫和主題庫的建設(shè)就是在對業(yè)務(wù)理解的基礎(chǔ)上，基于易存儲、易管理、易使用的原則抽像數(shù)據(jù)存儲結(jié)構(gòu)，說白了，就是基于一定的原則設(shè)計數(shù)據(jù)庫表結(jié)構(gòu)，然后再根據(jù)數(shù)據(jù)資源清單設(shè)計數(shù)據(jù)采集清洗流程，將整潔干凈的數(shù)據(jù)存儲到數(shù)據(jù)庫或數(shù)據(jù)倉庫中。
元數(shù)據(jù)管理：元數(shù)據(jù)管理是對基礎(chǔ)庫和主題庫中的數(shù)據(jù)項屬性的管理，同時，將數(shù)據(jù)項的業(yè)務(wù)含義與數(shù)據(jù)項進(jìn)行了關(guān)聯(lián)，便于業(yè)務(wù)人員也能夠理解數(shù)據(jù)庫中的數(shù)據(jù)字段含義，并且，元數(shù)據(jù)是后面提到的自動化數(shù)據(jù)共享、數(shù)據(jù)交換和商業(yè)智能(BI)的基礎(chǔ)。需要注意的是，元數(shù)據(jù)管理一般是對基礎(chǔ)庫和主題庫中(即核心數(shù)據(jù)資產(chǎn))的數(shù)據(jù)項屬性的管理，而數(shù)據(jù)資源清單是對各類數(shù)據(jù)來源的數(shù)據(jù)項的管理。
血緣追蹤：數(shù)據(jù)被業(yè)務(wù)場景使用時，發(fā)現(xiàn)數(shù)據(jù)錯誤，數(shù)據(jù)治理團(tuán)隊需要快速定位數(shù)據(jù)來源，修復(fù)數(shù)據(jù)錯誤。那么數(shù)據(jù)治理團(tuán)隊需要知道業(yè)務(wù)團(tuán)隊的數(shù)據(jù)來自于哪個核心庫，核心庫的數(shù)據(jù)又來自于哪個數(shù)據(jù)源頭。我們的實踐是在元數(shù)據(jù)和數(shù)據(jù)資源清單之間建立關(guān)聯(lián)關(guān)系，且業(yè)務(wù)團(tuán)隊使用的數(shù)據(jù)項由元數(shù)據(jù)組合配置而來，這樣，就建立了數(shù)據(jù)使用場景與數(shù)據(jù)源頭之間的血緣關(guān)系。 數(shù)據(jù)資源目錄：數(shù)據(jù)資源目錄一般應(yīng)用于數(shù)據(jù)共享的場景，例如政府部門之間的數(shù)據(jù)共享，數(shù)據(jù)資源目錄是基于業(yè)務(wù)場景和行業(yè)規(guī)范而創(chuàng)建，同時依托于元數(shù)據(jù)和基礎(chǔ)庫主題而實現(xiàn)自動化的數(shù)據(jù)申請和使用。
質(zhì)量管理：數(shù)據(jù)價值的成功發(fā)掘必須依托于高質(zhì)量的數(shù)據(jù)，唯有準(zhǔn)確、完整、一致的數(shù)據(jù)才有使用價值。因此，需要從多維度來分析數(shù)據(jù)的質(zhì)量，例如：偏移量、非空檢查、值域檢查、規(guī)范性檢查、重復(fù)性檢查、關(guān)聯(lián)關(guān)系檢查、離群值檢查、波動檢查等等。需要注意的是，優(yōu)秀的數(shù)據(jù)質(zhì)量模型的設(shè)計必須依賴于對業(yè)務(wù)的深刻理解，在技術(shù)上也推薦使用大數(shù)據(jù)相關(guān)技術(shù)來保障檢測性能和降低對業(yè)務(wù)系統(tǒng)的性能影響，例如 Hadoop，MapReduce，Hbase 等。
商業(yè)智能(BI)：數(shù)據(jù)治理的目的是使用，對于一個大型的數(shù)據(jù)倉庫來說，數(shù)據(jù)使用的場景和需求是多變的，那么可以使用 BI 類的產(chǎn)品快速獲取需要的數(shù)據(jù)，并分析形成報表，比較知名的產(chǎn)品有 Microsoft Power BI，QlikView，Tableau，帆軟等。
數(shù)據(jù)共享交換：數(shù)據(jù)共享包括組織內(nèi)部和組織之間的數(shù)據(jù)共享，共享方式也分為庫表、文件和 API 接口三種共享方式，庫表共享比較直接粗暴，文件共享方式通過 ETL 工具做一個反向的數(shù)據(jù)交換也就可以實現(xiàn)。我們比較推薦的是 API 接口共享方式，在這種方式下，能夠讓中心數(shù)據(jù)倉庫保留數(shù)據(jù)所有權(quán)，把數(shù)據(jù)使用權(quán)通過 API 接口的形式進(jìn)行了轉(zhuǎn)移。API 接口共享可以使用 API 網(wǎng)關(guān)實現(xiàn)，常見的功能是自動化的接口生成、申請審核、限流、限并發(fā)、多用戶隔離、調(diào)用統(tǒng)計、調(diào)用審計、黑白名單、調(diào)用監(jiān)控、質(zhì)量監(jiān)控等等。
中企檢測認(rèn)證網(wǎng)提供iso體系認(rèn)證機(jī)構(gòu)查詢，檢驗檢測、認(rèn)證認(rèn)可、資質(zhì)資格、計量校準(zhǔn)、知識產(chǎn)權(quán)貫標(biāo)一站式行業(yè)企業(yè)服務(wù)平臺。中企檢測認(rèn)證網(wǎng)為檢測行業(yè)相關(guān)檢驗、檢測、認(rèn)證、計量、校準(zhǔn)機(jī)構(gòu)，儀器設(shè)備、耗材、配件、試劑、標(biāo)準(zhǔn)品供應(yīng)商，法規(guī)咨詢、標(biāo)準(zhǔn)服務(wù)、實驗室軟件提供商提供包括品牌宣傳、產(chǎn)品展示、技術(shù)交流、新品推薦等全方位推廣服務(wù)。這個問題就給大家解答到這里了，如還需要了解更多專業(yè)性問題可以撥打中企檢測認(rèn)證網(wǎng)在線客服13550333441。為您提供全面檢測、認(rèn)證、商標(biāo)、專利、知識產(chǎn)權(quán)、版權(quán)法律法規(guī)知識資訊，包括商標(biāo)注冊、食品檢測、第三方檢測機(jī)構(gòu)、網(wǎng)絡(luò)信息技術(shù)檢測、環(huán)境檢測、管理體系認(rèn)證、服務(wù)體系認(rèn)證、產(chǎn)品認(rèn)證、版權(quán)登記、專利申請、知識產(chǎn)權(quán)、檢測法、認(rèn)證標(biāo)準(zhǔn)等信息，中企檢測認(rèn)證網(wǎng)為檢測認(rèn)證商標(biāo)專利從業(yè)者提供多種檢測、認(rèn)證、知識產(chǎn)權(quán)、版權(quán)、商標(biāo)、專利的轉(zhuǎn)讓代理查詢法律法規(guī)，咨詢輔導(dǎo)等知識。
本文內(nèi)容整合網(wǎng)站：百度百科、搜狗百科、360百科、知乎、市場監(jiān)督總局 、國家認(rèn)證認(rèn)可監(jiān)督管理委員會、質(zhì)量認(rèn)證中心
免責(zé)聲明：本文部分內(nèi)容根據(jù)網(wǎng)絡(luò)信息整理，文章版權(quán)歸原作者所有。向原作者致敬！發(fā)布旨在積善利他，如涉及作品內(nèi)容、版權(quán)和其它問題，請跟我們聯(lián)系刪除并致歉！
