大数据平台的3个核心功能

刺骨的言语ヽ痛彻心扉 2023-01-13 09:00 234阅读 0赞

**导读：**大数据平台可以分为操作数据存储（ODS）、数据仓库（DW）和数据集市（DM）三层，分别对应着数据清洗、数据管理和数据应用这三个核心功能。

作者：蔡主希

来源：大数据DT（ID：hzdashuju）

![1c12ad9ddf223cd6baf31be7fee69251.png][]

▲数据架构示意图

**01 原始数据清洗**

**操作数据存储**（Operational Data Store，ODS），又被称为贴源层，是原始数据经过ETL（Extract-Transform-Load）清洗后存储的位置。ODS通常有如下几个作用。

*  在业务系统和数据仓库之间做了隔离，将业务系统产生的原始数据备份的同时，保证了两个系统之间数据的一致性。
 *  存储了业务侧的明细数据，方便后续的查询和加工以及报表的产出。
 *  完成数据仓库中不能实现的一些功能，相比于DW和DM层通常使用Hive查询，ODS一般利用更底层的编程语言加工而成，可以实现一些更复杂和更高效的ETL操作。

此外，ODS层保留了大量的历史明细数据，通常约定只能增加不能修改，利用时间分区的方式进行区分。

**02 数据仓库管理**

**数据仓库**（Data Warehouse，DW）是企业级数据集中汇总的位置。DW层最大的特点是面向主题，根据不同的主题设计表的结构和内容，这样做的好处是排除了与主题无关的冗余数据，**提高了特定主题下的查询和加工效率。**

另一方面，数据仓库作为连接原始数据和标签之间的中间层，**必须保证数据质量**，包括唯一性、权威性、准确性等。

以风控主题为例，DW层中通常会包括授信、支用、还款、催收等一系列数据，方便后期相关标签的计算。另外，还会有一些公用的维度表被存在与DW层平行的DIM层中，这些表通常是一些城市、日期类的字典数据，贯穿多个主题数据。

![4fd222ba88efe7330f59610a1345d3f9.png][]

**03 数据标签应用**

整个数据平台的最上层是**数据集市**（Data Market，DM），也是与风控人员联系最紧密的一层。顾名思义，数据集市就是将数据仓库中的主题数据根据不同的业务需要挑选出来，**构成特定的业务场景标签。**

例如想构建与客户逾期表现相关的标签，只需要将DW层中与还款相关的表抽取出来加工即可，这样不仅结构清晰，还保证了标签计算的效率。

由于DM层的数据标签与业务联系较为紧密，建议在DM层逻辑设计的初期，让更多的业务人员参与进来，这样才能避免后期技术与业务在标签计算口径上不统一的问题。

最后想补充说明的是，由于大数据平台的计算链条较长，且充斥着大量的数据处理步骤，在实际生产中平台的监控和预警机制至关重要，例如对于上下游依赖关系的判断、每个时间分区数据量的监控、邮件和短信报警等，都是把控数据准确性和时效性的必要手段。

**关于作者：**蔡主希，研究生毕业于哥伦比亚大学统计专业，资深智能风控算法专家。现就职于某具有“全牌照”业务的综合性国际化资产管理集团，负责人工智能算法在金融科技领域的研究和落地。曾任两家头部互联网公司金融部门风控算法专家，以及北京大数据研究院金融研究员。

本文摘编自《智能风控与反欺诈：体系、算法与实践》，经出版方授权发布。

![e971c4dd422702d841280be24af4bc64.png][]

延伸阅读《智能风控与反欺诈》

点击上图了解及购买

转载请联系微信：DoctorData

**推荐语：**头部金融企业风控算法专家撰写，院士高度评价，系统讲解智能风控和反欺诈在信贷风控领域实践全流程。

![音符][a0a35ff4c1d23350e8033a9a375ec411.gif]

**划重点????**

**干货直达????**

*  [65岁的编程语言重回Top 20，65岁的程序员还没退休吗？][65_Top 20_65]  
    
 *  [终于有人把准确率、精度、召回率、均方差和R²都讲明白了][R]  
    
 *  [终于有人把Scrapy爬虫框架讲明白了][Scrapy]  
    
 *  [编程语言哪家强？4种数据分析领域语言优缺点对比][4]

**更多精彩****????**

在公众号对话框输入以下**关键词**

查看更多优质内容！

**PPT** | **读书** | **书单** | **硬核** | **干货**** **| **讲明白 **|** 神操作**

**大数据** | **云计算** | **数据库** | **Python** | **爬虫** | **可视化**

**AI** | **人工智能** | **机器学习** | **深度学习** | **NLP**

**5G**** **|** 中台 **|** 用户画像**** **| **1024** | **数学 **|** 算法 **| **数字孪生**

据统计，99%的大咖都关注了这个公众号

**????**

[1c12ad9ddf223cd6baf31be7fee69251.png]: /images/20221022/dd10d7eb850a493fa3dd35a6820855f5.png
[4fd222ba88efe7330f59610a1345d3f9.png]: /images/20221022/e1c5cf8c58a543f68fbf8176cf96eb77.png
[e971c4dd422702d841280be24af4bc64.png]: /images/20221022/4f64644ff1264e43b0406984389b218d.png
[a0a35ff4c1d23350e8033a9a375ec411.gif]: /images/20221022/b5954b0faedf4bfe95181fb84157322e.png
[65_Top 20_65]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8c2574dbfbac621b42fa3181f0b655927c646c0254cbd24c581a730c75904813da88e2d721&idx=3&mid=2247527576&scene=21&sn=c676b06fa108f1ac1d9128c06d86c353#wechat_redirect
[R]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8c25f3dbfbace5ba921615f7ab32457e0241feefbc4a0055d6f09ed427bb11067856dbaa34&idx=2&mid=2247527455&scene=21&sn=673175bfb3406142fb463b5db1ba8617#wechat_redirect
[Scrapy]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8c22dbdbfbabcdea8aef86e9e6574332e0d0c92ad616962c41e5745008e7a0f08ac7f781c9&idx=2&mid=2247527223&scene=21&sn=877ed7cdf3059de175fae46c53d2522f#wechat_redirect
[4]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8c22dadbfbabcc817174c33f4de9ab726477235015590267b732c228b3ff153610872db57c&idx=2&mid=2247527222&scene=21&sn=e324a8f14f5fd8b50cc5201d226870ef#wechat_redirect