數據中臺概述
SOA團隊 2020-03-16
數據中臺是一套可持續的讓企業的數據用起來的機制，是一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方法論支撐，構建的一套持續不斷的把數據變成資產并服務于業務的機制。數據來源于業務并反哺業務，不斷的迭代循環，實現數據可見，可用和可運營。
這里面最核心的就是將數據變化為資產并服務于業務的機制，數據來源于業務并反哺業務。我們基于這個核心內容可以進一步抽象下數據中臺對核心的定義，我個人理解和定義如下：
數據中臺本質是一個能夠實現跨域數據融合，并在數據融合后對數據進行整合加工和分析，提供增值的數據服務能力給業務使用的一個平臺。在我這個概念里面多強調了兩點，一個是實現跨域數據融合，一個是提供增值的數據API服務能力給業務使用。
書籍里面提到了書籍中臺四個方面的關鍵能力：
書籍中臺需要具備數據匯聚整合，數據加工提純，數據服務可視化，數據價值變現4個核心能力，讓企業員工，客戶，伙伴能夠方便的應用數據。而這個里面的數據提純加工對應的是數據資產管理的核心內容，即數據中臺必須通過連通全域數據，通過統一的數據標準和質量體系，建設提純加工后的標準數據資產體系，以滿足企業業務對數據的需求。
對于數據中臺必須要理清楚的一些關鍵概念差異
數據中臺和業務中臺的關系
我們先看下書里面的一些解釋，即業務中臺更加偏向于業務流程管控，將業務流程中的共性服務能力抽象出來，形成通用服務能力。而數據中臺則是抽象數據能力的共性，形成統一的數據服務能力。
對于上面這個解釋不足夠準確，為什么呢？因為業務中臺本書也回抽象數據共性提供數據服務能力，類似業務中臺的供應商中心，客戶中心本身也提供數據服務能力。那么時間最大的差異點在哪里呢？
即我們前面提到的，數據中臺是實現業務中臺核心共享數據的跨域整合，再通過加工后提供整合后的數據服務能力。這里面有兩個重點，即第一數據要跨域整合，第二數據要加工處理后再提供增值服務能力，這個加工可能簡單的匯總表，也可能是復制的底層數據模型和智能分析算法。
業務中臺重點是業務數據化，而數據中臺重點是數據業務化，數據來源于業務又反哺業務。就建設和支撐層面來說我原來也總結過，即業務中臺是基礎業務能力支撐，必須要有，數據中臺是增值能力支撐，剛開始沒有也不會影響到業務本身的運作。
再簡單來說，以電商平臺來舉例，業務中臺關鍵功能缺失導致的是業務流程走不下去，在業務協同上出現問題。而數據中臺能力缺失導致的是沒能夠為用戶提供增值服務，讓用戶順帶多買點東西。
兩者的聯系，書里面有一句總結還是比較準確，即數據中臺和業務中臺本身是相輔相成的，業務中臺中沉淀的業務數據進入到數據中臺進行體系化加工，再以服務化的方式支撐業務中臺上的應用，而這些應用產生的新數據又流轉到數據中臺，形成循環不息的數據閉環。
數據中臺和數據倉庫和大數據平臺
對于數據中臺和數據倉庫的區別，書里面的總結比較到位。即數據倉庫的主要場景是支持管理決策和業務分析，而數據中臺則是將數據服務化之后提供給業務系統，目標是數據能力滲透到各個業務環節，不限于決策分析類應用場景。數據中臺持續不斷的將數據進行資產化，價值化并應用到業務，而且關注數據價值的運營。
這里面的關鍵區別就在于數據中臺能力要服務于業務系統準實時協同需要。
為了準實時，一方面你會看到數據中臺架構上實際上是包括了大數據平臺的核心架構和分布式存儲內容，同時還包括了大數據平臺中的實時計算和流處理能力。其次，為了將能力提供給業務系統，往往數據中臺整體架構上一定會體現一個統一的數據服務能力開放層，這個在傳統的數據倉庫或大數據平臺上是沒有的。
數據中臺和BI數據倉庫有重合，也有交集。相同的就是整個數據采集集成，數據存儲，數據模型構建，數據開發和分析，這些都需要。差異點在于數據中臺需要有統一的數據服務能力開放層，提供給業務使用，而弱化了傳統BI里面的數據分析和報表展現層。
所以我們首先搞清楚數據中臺是為增值業務需求服務，BI平臺為管理經營決策服務。這使得兩者在數據模型構建，數據開放和提供策略上有差異，但是核心的技術平臺能力則是相同的。即你可以基于Hadoop整個技術框架體系來構建數據中臺，也可以用來構建BI數據倉庫。
數據中臺的業務賦能
簡單總結就是：業務數據化，數據資產化，資產服務化，服務業務化，業務智能化持續賦能業務閉環。
數據中臺作為整個企業各個業務所需數據服務的提供方，通過自身的平臺能力和業務對數據的不斷滋養（業務數據化），會形成一套高效可靠的數據資產體系和數據服務能力（數據資產化和資產服務化）。這樣當面對市場變化，需要構建新的前臺應用的時候，數據中臺能夠迅速的提供數據服務能力。
數據中臺要求整個企業共用一個數據技術平臺，共建數據體系，共享數據服務能力。數據中臺的目標是實現企業經營的數據化，精細化，智能化，本質是建立一套可持續讓企業數據用起來的機制。
數據中臺的建設
對于數據中臺的建設，實際上我們要看到兩個方面的內容，第一就是單純的數據技術平臺的建設，第二就是數據內容的建設。我剛才說了單純的數據技術平臺還可以用于BI分析，技術平臺能力本身就是相通的。對于技術平臺我們要考慮就是數據采集集成，數據存儲，數據處理加工和計算，數據分析各個層面的技術工具和組件。
對于數據內容的建設，實際上包括了四個方面的內容，書里面總結如下：
1. 技術體系（包括大數據存儲計算技術和數據中臺工具技術組件）
2. 數據體系（圍繞數據模型為核心，并圍繞數據資產全生命周期展開）
3. 服務體系（通過數據中臺的服務組件能力，將數據變為服務）
4. 運營體系（將數據服務做為可運營的商品一樣，來構建一套運營服務和管理體系）
數據中臺的架構
對于數據中臺架構后面還要單獨寫文章詳細描述，從書里面給出的架構圖我們可以看到基本模式都是一樣的，即最底層事數據基礎設施和數據技術平臺。再往上分別是數據匯集，數據開發，數據體系，數據資產管理，數據服務幾個大模塊的內容。
所以我們先看下整個數據中臺架構里面大模塊分法上的一些思路。
數據匯聚和數據開發
這個分開為兩個大模塊是合理的，即數據匯聚僅僅只復制數據集成的事情，比如我們常說的數據采集，ETL方面的事情。而數據開發即是數據采集過來后還需要對數據進行加工處理，比如形成寬表或匯總表，基于數據分析算法進行數據匯聚計算形成新的數據結果等。
數據資產管理和數據體系
首先我們可以看到數據資產管理即我們常說的數據全生命周期管理，類似我們原來談MDM主數據管理經常談到的元數據管理，數據標準，數據質量管理，數據安全，數據創建變更全生命周期流程管理等都在該模塊能夠看到。
對于數據體系是否理解為不同的數據應用域，書里面提到的數據體系包括了貼源數據，統一數倉，標簽數據和應用數據?？梢钥吹綌祿旧矸謱?，數據也可以分數據域。
從全生命周期如何看數據？
如果從數據全生命周期來看，實際上我們可以看到可以分為數據的入庫過程，數據的存儲和模型構建，數據的對外能力提供過程。對于數據的入庫包括了數據匯聚，數據開發；對于數據的存儲包括了數據模型和數據體系，對于數據對外能力提供包括了數據服務層構建。
而實際的數據全生命周期管理剛好應該是貫通前面幾個階段的一個完整管理和管控流程。
遠行科技
遠行云商
