谈MDM主数据管理系统、BI、大数据、SOA之间的关系

冷不防 2024-04-17 17:18 57阅读 0赞

随着“大数据”技术广泛流传，而MDM、BI、SOA相关技术已经弱化，这是从一些程序员那听到的声音，今天就想捋捋这四者之间的关系。作为一个售前咨询人员来讲，理清这四者之间的关系还是很有必要的，因为在交流或者编写解决方案时还是会遇到这类场景。

> ### BI和大数据 ###

首先看看BI和大数据之间的关系，很多传统软件厂商都是从BI报表开始做起，会经历**数据采集、数据存储、数据处理分析、数据挖掘、可视化报表展现**等过程。而如今大数据也是从数据采集、数据存储计算、数据处理分析、数据挖掘、可视化大屏展现等过程。二者之间很相似，只不过受Apache开源技术影响，传统BI底层数据存储采用Oracle数据库进行存储比较多，当数据量无限扩大时，关系型数据库无法进行弹性伸缩，加上Oracle数据库本身价格昂贵，不能做全量数据的分析和挖掘。当Hadoop技术横空出世，从数据库的扩展性、时效性、计算能力、性价比来看做数据分析挖掘远远超过Oracle数据库，这也是大家热衷于追求Hadoop技术的缘由。但是从**数据库的事务性支持角度**来看，目前**Hadoop的Hbase数据库还是无法解决的**。随着人们都大数据技术的认知，国内很多数据库软件公司想居于Hadoop的Hbase数据库完全来替代Oracle数据库，目前Hbase数据库在事务上面无法支持，开源社区也有一些组件居于Hbase数据库之上做了事务组件来应对，例如：易金杰的fadiation组件，这事务组件在真正商业应用场景上又有几个人敢用，比如：银行钱的结算，Oracle数据库厂商在全球纵横二十载，得到大量的认证，想要一时之间解决这个问题有点难。倘若有一天中国的企业解决了这类问题，底层的数据库存储技术不再受制于人，完全替代Oracle数据库了，真正意义上的去IOE了。

> ### MDM主数据管理系统和BI ###

其次再来看看MDM主数据管理系统和BI之间的关系，谈起MDM主数据管理系统，更多的是从企业的主数据管理系统来谈。实际上MDM和BI都有元数据管理和ETL部分的内容。对于元数据管理MDM一般并不会按照数据仓库模型进行重新的数据建模，而BI系统由于更多要管理业务数据，重点需要考虑业务数据的各个维度，因此需要按照数据仓库的建模思路进行维度建模。而MDM中的ETL相对简短，抽取和加载比较多，而实际的转化和复杂的映射并不会太多。

需要注意的是BI系统，重点是ETL后的数据分析和数据挖掘，包括后面的ODS层、数据集市、数据仓库的**重点都是使用和分析数据，而并不负责分发数据**。而对于MDM系统重点则不是MDM本身要如何使用数据，而**是需要通过ETL或其它方式收集数据之后进行数据整合**，**在数据整合完成后要发布数据给其它系统用**，同时对于数据的修改也需要及时发送，**重点是保证主数据的完整性和一致性**。

**站在企业大数据中心角度来看，BI和MDM结合起来可以看到，BI系统将不再从各个业务系统抽取引用数据和主数据，而是从MDM系统进行抽取，这样减少了BI系统进行的主数据管理和整合工作，BI系统只需要从各业业务系统抽取业务数据**。这个时候数据流变化如下：

１、**MDM系统抽取和整合各个业务系统中的主数据，形成统一完整的数据视图**；

２、**ODS抽取各个业务系统业务数据，同时抽取MDM中的主数据**。

３、**DW抽取ODS中的业务数据和主数据，最终形成数据仓库需要的星型和雪花型等各种维度表**

所以在企业中实施MDM后对建设BI或者大数据中心的好处是，BI不需要关注主数据的管理和整合问题，也不需要关心主数据的分发问题。这些问题都是由MDM系统来完成，当然BI系统的ETL工具，MDM系统在建设过程中仍然可以用。

> ### **MDM和SOA服务** ###

最后来看看MDM和SOA服务总线也是相互依赖和相互促进的关系。MDM的建设提供了完整统一的数据视图，为SOA的数据服务提供了强有力的支持，也提升了SOA的服务流程编排和服务组合的设计能力。**在没有MDM之前，SOA本身并不存储数据**，更谈不上数据的清理、合并和转换。关于**基础数据的整合和管理工作是无法真正落地的**，MDM系统的建设很好的担当了SOA服务总线的存储功能。（在未思考这几者之间的关系时，有一段时间都以为MDM和SOA服务总线是一回事）

对于MDM系统来说，数据初始化的阶段我们可以考虑使用ETL进行数据的初始化。但是对于系统正式上线之后，主数据本身就是变更不频繁的数据，变更数据量不大但是要求实时性高，这种情况下采用ETL进行数据抽取和数据集成已经不是很好的方式。这种情况下整理数据的收集和数据统一视图的发布完全可以借助SOA服务进行，特别是在SOA的EDA事情驱动机制下更加容易实现事情驱动的增量实时消息响应。

**MDM系统建设，对于识别的主数据发展趋势仍然是共存模式到集中模式**，只有到了集中模式才能更好的实现主数据的申请、创建、变更、发布等流程的统一管理，保证数据源头的一致性，从根本上解决数据不一致的问题。对于MDM主数据管理系统来说，其核心功能仍然是围绕主数据展开，即主数据的全生命周期管理，主数据的申请和创建流程，主数据变更和发布流程、废弃流程的全过程管理。在这主数据管理中考虑BI和SOA之间的关系：

１、**主数据对象的定义和元数据管理**（类似于BI产品中的元数据管理）

2、**主数据质量管理**（类似于BI产品中的数据质量管理）

3、**数据集成管理**（一部分是BI的ETL集成，一部分是SOA服务）

4、**服务管理**（如何将主数据管理的更好发布数据服务，集成到SOA中，类似于BI中的能力开放产品）

5、**流程管理**（主数据管理中的流程，如何更好的和SOA中BPEL功能进行整合）