数据中台-好文推荐

小灰灰 2021-12-24 00:45 314阅读 0赞

# 数据中台-好文推荐 #

## 摘要 ##

今天看到群友提了下数据中台概念，不同于数据平台，他的原话如下：

数据中台，业务侧包含

*  数据触手(埋点)
 *  数据接入(标准化)
 *  数据仓库(抽象化)
 *  数据治理(可靠性)
 *  数据服务(产品化)
 *  整体是一个闭环的解决方案
    
    **其中，闭环是最重要的一点。**

### 1 [互联网巨头们的「中台战事」][Link 1] ###

前台和后台是两个转速不相协调的齿轮，前台需要快速响应用户需求，后台却追求稳定至上。他对记者谈到，中台的功能是将企业的核心能力、数据、用户信息以共享服务的形式加以沉淀，从而解决各业务部门重复造轮子的问题，降低创新成本。

落实到具体形态上，中台与平台的最大区别是什么？右军认为，平台的特征是高内聚、低耦合，职责边界清晰、易于集成；而中台在高内聚、低耦合的基础上，更追求数据完整性、业务可运营。

从架构方法来讲，目前中台采用的多是渐进式架构的演进原则。例如，平台化的架构只要把架构师、开发、测试、产品凑在一起协同、排期、研发、上线即可；而中台化架构则是进一步把平台按能力、服务、实体进行管理，最终实现80%以上的业务需求可以由业务团队自行接入。

比如，在阿里内部，会员、交易、商品、营销、店铺等，都能自行形成一套中台服务体系，**业务团队输入一个请求，就可以自动生成服务**。

一位腾讯内部员工向记者透露，基于公司目前的组织构架，部门间谈不能立即产生收益的合作，多数情况会因为无法帮助到对方的KPI而被拒绝。“这种条件下，普通员工想自下而上地创新，几乎是不可能的事。许多有想法和想做事的人，会直接离开公司出去创业。”

在这一系列的变化中，企业若想对B端客户开放服务，需要将数据能力、算法能力、调度能力沉淀下来，能够拆解成一个个“积木”一样的产品，让用户能够在第一时间挑拣和使用。

### 2 [数据中台已成下一风口，它会颠覆数据工程师的工作吗？][Link 2] ###

数据仓库、数据平台和数据中台的区别:  
1. 数据中台是企业级的逻辑概念，体现企业 D2V（Data to Value）的能力，为业务提供服务的主要方式是数据 API；  
2. 数据仓库是一个相对具体的功能概念，是存储和管理一个或多个主题数据的集合，为业务提供服务的方式主要是分析报表；  
3. 数据平台是在大数据基础上出现的融合了结构化和非结构化数据的数据基础平台，为业务提供服务的方式主要是直接提供数据集；  
4. 数据中台距离业务更近，为业务提供速度更快的服务；  
5. 数据仓库是为了支持管理决策分析，而数据中台则是将数据服务化之后提供给业务系统，不仅限于分析型场景，也适用于交易型场景；  
6. 数据中台可以建立在数据仓库和数据平台之上，是加速企业从数据到业务价值的过程的中间层。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70]

### 3 [数据人的新风口：数据中台了解一下！][Link 3] ###

数据中台也不是单单的一个平台，在他的背后，是对海量数据的采集、计算、存储和加工。也就是说，可以把数据中台想想成一个厨房，原材料就是各个地方的数据源，数据中台要做的是，调研最上面的不同系统的业务需求（相当于厨房看看这个餐馆来些什么人），通过不同的业务分析，建立不同的业务场景（确定菜单），然后对不同的数据进行加工（洗菜做饭），然后等待上层系统的调用（等待小二上菜）。

由于数据源可能来自于不同的地方，数据格式，数据存储方式等等都可能不同，因此数据中台还需要统一标准和口径，在数据抽取的过程中进行格式的转换，保障所有的数据标准化和统一化，也方便后续的数据计算，数据查询接口的统一标准化。

### 4 [全面解读数据中台][Link 4] ###

数据中台是指通过数据技术，对海量数据进行采集、计算、存储、加工，同时统一标准和口径。数据中台把数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。这些服务跟企业的业务有较强的关联性，是这个企业独有的且能复用的，它是企业业务和数据的沉淀，其不仅能降低重复建设、减少烟囱式协作的成本，也是差异化竞争优势所在。

广义的数据中台包括了数据技术，比如对海量数据进行采集、计算、存储、加工的一系列技术集合，今天谈到的数据中台包括数据模型，算法服务，数据产品，数据管理等等，和企业的业务有较强的关联性，是企业独有的且能复用的，比如企业自建的2000个基础模型，300个融合模型，5万个标签。它是企业业务和数据的沉淀，其不仅能降低重复建设，减少烟囱式协作的成本，也是差异化竞争优势所在。

### 5 [理解数据中台][Link 5] ###

### 6 [腾讯组织架构调整中的“技术中台”是什么？][Link 6] ###

前台就是跟最终用户打交道的业务部门，ToC的业务就是要贴近终端用户，ToB的业务就要满足商家的需求，前台强调的是小步快跑，快速适应和调整，满足最终用户需求；“中台”则是强调资源整合、能力沉淀的平台体系，为前台业务开展提供底层的技术、数据等资源和能力的支持，中台将集合整个集团的运营数据能力、产品技术能力，对各前台业务形成强力支撑。

### 7 [数据中台和数仓的关系][Link 7] ###

数据中台设计立足点本身是数据和存储分离的。那就意味着，数据中台本身并没有数据，数据来源是其他的的，比如传统数仓，业务数据库，用户在中台上传的文件（临时使用），各个业务系统的API(瞬时，我们不关心API之前的数据结果是什么样的)。因为数据中台拥有这些数据源的适配器，所以相当于建立了互联管道。

### 8 [数据中台与之前的数据仓库有什么区别？][Link 8] ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 1]

*  数据中台不单单指系统或者工具，而是一个通过一系列平台、工具、流程、规范来为整个组织提供数据资产管理和服务的职能部门。数据中台负责全域数据采集、数据资产加工和管理、并向前台业务部门和决策部门提供数据服务的，所以数据中台的核心应该是数据资产管理和数据赋能。通俗的讲就是数据弹药库。

1.  数据中台的数据来源期望是全域数据包括业务数据库，日志数据，埋点数据，爬虫数据，外部数据等，可以是结构化数据或者非结构化的数据；
    
    而传统数仓的数据来源主要是业务数据库，数据格式以结构化数据为主。
2.  建立数据中台的目标是为了融合整个企业的全部数据，打通数据之间的隔阂，消除数据标准和口径不一致的问题。数据中台通常会对来自多方面的的基础数据进行清洗，按照主题域概念建立多个以事物为主的主题域比如用户主题域，商品主题域，渠道主题域，门店主题域等等；
    
    而传统的数仓主要用来做BI的报表，目的性很单一，只抽取和清洗该相关分析报表用到基础数据，新增一张报表，就要从底层到上层再做一次。
3.  数据应用方面，建立在数据中台上的数据应用不仅仅只是面向于BI报表，更多面向营销推荐，用户画像，AI决策分析，风险评估等。而且这些应用的特点是比较轻，容易快速开发出来，因为重要的数据分析工作在数据中台已经完成并且沉淀，之前工作成果都能被多个应用共享。
    
    而传统的数据仓库主要是面向报表，数据应用的建设就是传统烟囱式建设，每次都从头再来的开发方式。
4.  最后，数据中台是建立在分布式计算平台和存储平台，理论上可以无限扩充平台的计算和存储能力。而多数的传统数仓工具都是建立的单机的基础上，一旦数据量变大，会受单机容量的限制。

### 9 [阿里数据中台思想初探][Link 9] ###

### 10 [袋鼠云数据中台专栏][Link 10] ###

### 11 [白话中台战略][Link 11] ###

有了“中台”这⼀新的Pace-Layered断层，我们即可以将早已臃肿不堪的前台系统中的稳定通用业务能力“沉降”到中台层，为前台减肥，恢复前台的响应⼒；又可以将后台系统中需要频繁变化或是需要被前台直接使用的业务能力“提取”到中台层，赋予这些业务能力更强的灵活度和更低的变更成本，从而为前台提供更强大的“能力炮火”⽀援。所以，企业在平台化的过程中，需要建设自己的中台层（同时包括技术中台，业务中台和组织中台）。

### 12 [中台到底长啥样？][Link 12] ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 2]

### 13 [关于数据中台你想知道的都在这里！][Link 13] ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 3]

### 14 [关于数据中台系统，需要了解哪些技术？][Link 14] ###

*  数据业务双中台  
    提起中台，绕不开也是最先想到的应该都是阿里巴巴的数据业务双中台。阿里中台主要由业务中台和数字中台并肩构成了双中台，并肩扛起了所有前台业务。  
    ![阿里云-企业中台典型架构][-]
 *  业务中台将后台资源进行抽象包装整合，转化为前台友好的可重用共享的核心能力，实现了后端业务资源到前台易用能力的转化。
 *  数据中台从后台及业务中台将数据流入，完成海量数据的存储、计算、产品化包装过程，构成企业的核心数据能力，为前台基于数据的定制化创新和业务中台基于数据反馈的持续演进提供了强大支撑。业务中台与数据中台，相辅相成，互相支撑，一起构建起了战场强大的后方炮火群。
 *  移动中台
 *  技术中台  
    ![技术中台][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 4]  
    技术中台就是将使用云或其他基础设施的能力各种技术中间件的能力进行整合和包装。过滤掉技术细节，提供简单一致，易于使用的应用技术基础设施的能力接口，助力前台和业务中台数据中台的快速建设。
    
    如果将业务数据双中台比喻成强大的中台炮火群，可以直接对敌人进行进攻。那技术中台的作用就有些间接，有点想前台特种兵身上的各种先进的武器装备。精良易用的武器装备，可以大幅缩短前台特种兵的建设周期的同时还可以大幅提高单兵作战能力，令敌人胆寒。
 *  研发中台  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 5]  
    如果说技术中台为前台应用提供了基础设施重用的能力，那研发中台就为前台应用提供了流程和质量管控以及持续交付的能力。
    
    软件开发是一项工程，涉及到管理、流程、测试、团队协作等等方面。如何将企业的开发流程最佳实践沉淀成可重用的“能力”，从而助力创新性应用的快速开发迭代，也是我们看到的很多企业正在做的事情，我们可以管这种关注与开发效能管理的平台叫做研发中台。
 *  组织中台  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 6]  
    中台建设真正困难的是组织上的重构，而这往往是大家有意无意避而不谈的。
    
    组织中台很像企业中的内部风投和创新孵化机构，为前台组织和团队构建创新型前台应用提供类似于投资评估（项目甄别）、投资管理、投后管理（孵化与风控），真正从组织和制度上支撑前台组织和应用的快速迭代规模化创新。

[Link 1]: https://mp.weixin.qq.com/s/q89AiGex2Swd-QdXmSLSFg
[Link 2]: https://mp.weixin.qq.com/s/_KsFeHGUt62A7w3kvNlf2A
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70]: /images/20211223/616d6f865ccf4e208f471ad6170a7bc7.png
[Link 3]: https://blog.csdn.net/womenjiademao/article/details/89352142
[Link 4]: https://blog.csdn.net/btb5e6nsu1g511eg5xeg/article/details/88266365
[Link 5]: https://blog.csdn.net/u012965373/article/details/88657387
[Link 6]: https://www.jianshu.com/p/01818e87d7e8
[Link 7]: https://blog.csdn.net/baichoufei90/article/details/93744041
[Link 8]: https://www.zhihu.com/question/282421879
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 1]: /images/20211223/318ba515e3e04880b50d21cb77600f34.png
[Link 9]: https://cloud.tencent.com/developer/article/1394712
[Link 10]: https://my.oschina.net/u/3869098?q=%E6%95%B0%E6%8D%AE%E4%B8%AD%E5%8F%B0
[Link 11]: https://blog.csdn.net/toafu/article/details/84375712
[Link 12]: https://blog.csdn.net/toafu/article/details/85158879
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 2]: /images/20211223/9f3ed97296024c3ca80488830745b539.png
[Link 13]: https://blog.csdn.net/wowotuo/article/details/89195518
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 3]: /images/20211223/7810019a120f43fb89604caf820e0ffc.png
[Link 14]: https://blog.csdn.net/BtB5e6Nsu1g511Eg5XEg/article/details/85043021
[-]: /images/20211223/3df8c68e42f046d5843e230b70a0c227.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 4]: /images/20211223/02991b1a1b6a48d08851f206022e8dd1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 5]: /images/20211223/5e6bdc41063840239844faf96bc8fb63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 6]: /images/20211223/1058720d6351488c9b27bd7c35f815e9.png