数据挖掘（1）概述

骑猪看日落 2024-04-17 13:32 9阅读 0赞

## 一、数据仓库和数据挖掘概述 ##

### 1.1 数据仓库的产生 ###

1.  数据仓库与数据挖掘：
    
     *  数据仓库和联机分析处理技术(存储)。
     *  数据挖掘：在大量的数据中心挖掘感兴趣的知识、规则、规律、模式、约束(分析)。
2.  数据仓库用于决策分析：
    
    1.  **数据仓库**：是在数据库已经大量存在的情况下，为了进一步**挖掘数据资源、为了决策需要而产生的**，并不是‘大型数据库’。
    2.  数据仓库与数据库的区别：

<table> 
 <thead> 
  <tr> 
   <th>数据库</th> 
   <th>数据仓库</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>事务处理</td> 
   <td>决策分析</td> 
  </tr> 
  <tr> 
   <td>保持事务处理的<strong>当前</strong>状态</td> 
   <td>保存过去和当前的数据</td> 
  </tr> 
  <tr> 
   <td></td> 
   <td>大量数据库的集成</td> 
  </tr> 
 </tbody> 
</table>

### ![07f27f9f32f24c6a90ded0c65d9d4de7.png][]1.2 数据挖掘的基本概念 ###

1.  **数据挖掘定义：**
    
    1.  数据挖掘是从大量的数据中挖掘出隐含的、未知的、用户可能感兴趣的和对决策有潜在价值的知识和规则。
    2.  几层含义：
        
         *  数据：真实、大量、含噪声。
         *  发现的是用户感兴趣的知识。
         *  发现的知识：可接受、可理解、可运用。
         *  不要求发现全部的知识，仅对特定的问题。
2.  **数据挖掘的一个过程**![1ae52dcf38e3410e966e1dab1501c2e2.png][]
3.  数据挖掘的功能
    
    1.  关联分析(描述)
        
         *  反映一个事件和其他事件之间依赖或关联的知识。
         *  广泛用于：购物篮、事务数据分析。
    2.  聚类分析(描述)
        
         *  最大化类内的相似性和最小化类间的相似性(**无监督的学习方法)**
         *  找出数据集中的共性与差异，将具有共性的对象聚合在相应的类中。
         *  无指导的观察室学习，没有预先定义的类
    3.  分类挖掘(预测)
        
         *  分类：同类事物共同性质的特征型知识，不同事物之间的差异型特征知识。**(有监督的学习方法)**
            
             *  类别：特征联系，决策树
         *  有指导的事例式学习，有预先定义的类
         *  过程：**分析**训练集中数据，为每个类别建立**分类分析模型**；用这个分类分析模型对DB中的其他记录进行分类。
         *  聚类与分类的区别：
    4.  孤立点分析
        
         *  **对差异和极端特例的描述**。
         *  孤立点：事物偏离常规的异常现象。
         *  没有孤立点分析算法。
         *  异常检测：通过构建正常行为模型(特征描述)，来检测与特征描述严重偏离的新的模式。

## 二、数据仓库的基本概念 ##

### 2.1概念 ###

数据仓库（Data Warehouse）是在数据库已经大量存在的情况下，为了进一步挖掘数据资源，为了决策需要而产生的，它并不是所谓的“大型数据库

### 2.2数据仓库的两个主要作用 ###

*  存储经过加工处理的决策需要的数据
 *  查询决策分析的依据

### 2.3数据仓库的关键特征 ###

1.  **面向主题（**从面向应用到面向主题**）**![04722c13529543938ef6715e5f09c428.png][]
2.  **集成的（**需要使用数据清洗、数据继承来处理数据）![39cb27cbad2243d4a73f77b040145404.png][]
3.  **随时间而变化的（**只进行两种数据访问：数据的初始装载、查询操作）![006ce9a6be1e405488447df2f5b2041d.png][]
4.  **不容易丢失的（包含时间元素）**

### 2.4为什么要建立数据仓库 ###

1.  事务型处理(DB)：
    
    1.  日常事务处理
    2.  处理细 节 信 息
2.  分析型处理(DW)：
    
    1.  用于管理员的**决 策 分** 析
    2.  处理宏 观 信 息 
3.  区别

![6cf854c2b8ee4683a3f6df5409c1fc9a.png][]

### 2.5数据仓库与数据挖掘的关系 ###

1.  区别：
    
     *  数据仓库：存储技术，提供对不同决策的数据和信息。
     *  数据挖掘：分析技术，从数据中挖掘信息。
2.  联系：
    
     *  成功的数据挖掘：通过访问正确的、完整的、集成的数据，进行深层次的分析。
     *  数据仓库并不是数据挖掘的必要条件：
        
         *  DM不一定建立在DW之上,DW不是实施DM的必要条件。
         *  在开发DW过程中所进行的数据集成、清洗、准备，才使得DW对DM有重要的价值。

### 2.6数据立方体 ###

##### 1. 概念分层(单个维) #####

1.  定义：定义一个映射序列，将低层概念映射到更一般的高层概念中。
2.  比如：在城市->省份->国家->州，维度中，我们可以从中选取一个维度进行考查。

##### 2.方体的格(维的集合) #####

1.  定义：给定一个维的集合，将在不同汇总级别上给出的数据立方体。
2.  0维方体：存放最高层的汇总，顶 点 方 体 
3.  最底层汇总：基 本 方 体

![542e1b1189944847ad9a7a78f63f9686.png][]

### 2.7 数据仓库的三级模型 ###

##### 1.概念模型： #####

1.  首先将现实世界抽象为概念模型、然后再用计算机世界的模型和语言描述。
2.  **数据仓库的第一层、最高层**
3.  **数**据仓库用信 息 包 图表示概念模型。
4.  **信息包图**  
    ![9c01363338934d46b70c8583a20bdc2a.png][]

eg：确定维度、级别(类别、概念分层、将维度细分)、度量(指标与事实)。

![5d76f56ea9a24792a2bb0e0bdc7d9f0e.png][]

##### 2.逻辑模型： #####

1.  **数据仓库第二层**
2.  三种表示：**星型、雪花模型、事实星座模型。**
3.  几个基本概念：
    
    1.  维：**视角、观点**；eg：时间维度、产地维度。
    2.  维表：每一维都有一个表与之对应。
    3.  事实：数字度量。
    4.  事实表：事实的名称或度量、以及每个相关维表的关键字。
4.  星型模型
    
    1.  事实表在中心，周围围绕地连接维表。![428829905ee3416bba39feadd69abb7c.png][]
    2.  通常由三种逻辑模型表示法：星型模型，雪花模型，事实星座模型
5.  雪花模型
    
    1.  相当于增加了[外键][Link 1]，维护表与表的关系，减少了冗余。![c4ba5ddf161d491696c3536fa948c997.png][]
6.  事实星座模型
    
    1.  对主题的数据仓库，需要**多个事实表**共享维表。![f299f56d412b4862ab731f9481f8f3fb.png][]

##### 3.物理模型： #####

1.  定义：是**逻辑模型**在数据仓库中的实现。
2.  主要进行：数据存储结构、存储策略、索引策略、存储分配优化。
3.  两种常见的存储结构：
    
    1.  分布式存储
        
        1.  物理上分布、逻辑上统一。
    2.  集中式存储
        
         *  通过FC(光纤通信)交换机来直接访问所有数据，而不需要其它节点。

### 2.8DW的设计 ###

1.  数据仓库设计与数据库设计的区别(\*\* )![d61222bad73d4817b575225d8fd7666a.png][]
2.  DW设计的原则
    
    1.  以数据驱动为中心，数据驱动和需求驱动相结合
    2.  数据驱动：根据当前数据基础和质量进行数据源分析
    3.  需求驱动：根据业务方向需求进行调整。

## 三、联机分析处理 ##

建立数据仓库的目的，是要为决策提供必要的支持。

### 3.1 [OLAP][]概述 ###

##### 1. OLAP的基本概念 #####

1.  定义：联机分析处理是**共享多维信息的、针对特定问题**的联机数据访问和分析的快速软件技术。
2.  核心技术是**维**，OLAP是多维数据分析工具的集合。
3.  OLAP与数据仓库的多维数据组织管理正好形成相互结合相互补充的关系。

##### 2. 几个关系？ #####

1.  **OLAP与DW**
    
    1.  数据仓库：侧重于存储和管理面向主题的数据。
    2.  OLAP：侧重于数据仓库中的数据分析，并将其转换成辅助决策的信息。
        
         *  **多维数据分析**，这与数据仓库的多维数据组织管理相互结合、相互补充。
         *  使得DW能快速分析查询，从而能有效的联机分析。
2.  OLAP(联机处理分析)与OLTP()
    
    1.  OLTP：关系型数据库的主要应用，增删改查。事务型
    2.  OLAP：数据仓库的主要应用，分析与决策，并提供查询结果。分析型
        
         *  OLAP的数据来自于OLTP数据库

![b9e681daf4214ff89456ba0122a6d396.png][]

##### 3. OLAP的特性 #####

1.  快速性：在5s内对用户大大部分分析要求作出反应。
2.  可分析性：能处理任何逻辑分析和系统分析。
3.  多维性：**关键属性**，提供数据的多维视图和分析
4.  信息性：应能及时获取信息，管理大容量信息。

### 3.2 OLAP的分析方法 ###

>  *  切片
>     
>     选定一个二维子集，切出一个平面
>  *  切块
>     
>     选定一个三位子集，切出立方体
>  *  旋转
>     
>     改变一个报告显示的维方向
>  *  钻取
>     
>     根据维层次改变数据的粒度

##### 1.相关概念 #####

![d917a3b1947843d8b89eeb5001e64e02.png][]

##### 2. 切片 #####

1.  广义：某一维上一个维成员。**降1维**
2.  狭义：选取一个二维子集。**降n-2维**![b689c29070194d2193905c0e89fb20b1.png][]

##### 3. 切块 #####

1.  广义：在某一维上选定**某一区间**的维成员，**没有降维**
    
     *  比如考察2021年1月到2021年6月的信息。
2.  狭义：选取一个三维子集。**降n-3维**![724da1849571457b9fffcb4b8f1e99c6.png][]

##### 4. 钻取(某个维的层次性) #####

![7a6308fa0ff949ef8582bb31cbfffab0.png][]

##### ![5659e84165f94b4dbd67b720aa0f27d1.png][] #####

##### 5. 旋转 #####

![af6f7bfb4aa54f4d95f517bc37818246.png][]

### 3.3 OLAP的数据组织 ###

ROLAP

> rolap是基于关系型数据库的OLAP
> 
>  *  利用关系数据库存储、管理、聚合数据。
>  *  良好扩展性，可以简单增加新维
>  *  星型模型
>  *  响应时间长。![f8dbf533c4494831a625bc3c5ba7dc64.png][]

MOLAP

> MOLAP是基于多维数据库存储方式建立的OLAP，采用类似多维数组的结构
> 
>  *  多维数据库
>  *  预综合的数据快速索引。
>  *  响应速度快。
>  *  增加新的维度，需要重新建立数据库。

HOLAP

> HOLAP是混合型的
> 
>  *  常用维：多维数据库存储。
>  *  不常用的维：用ROLAP存储。

**ROLAP和MOLAP的对比**

> 1.  数据存储速度：ROLAP需要将SQL语句转化为多维存储语句，临时拼合为多维数据立方体，因此ROLAP的响应时间较长
> 2.  维度变化的适应性：MOLAP增加新的维度，则多维数据库通常需要重新建立，ROLAP对于维表的变更有很好的适应性

### 四、数据挖掘的基本概念 ###

### 4.1 什么是数据挖掘 ###

1.  定义：从大量的数据中挖掘出隐含的、未知的、用户可能感兴趣的和对决策有潜在价值的知识和规则。

[07f27f9f32f24c6a90ded0c65d9d4de7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/1ad2e503514f4888824707692f058968.png
[1ae52dcf38e3410e966e1dab1501c2e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/0bbf575710014364acb546364b0a3286.png
[04722c13529543938ef6715e5f09c428.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/5cf06d25bc184838a5af11357f147960.png
[39cb27cbad2243d4a73f77b040145404.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/e6a3b0a9a6e64da7b9de65cf0a229135.png
[006ce9a6be1e405488447df2f5b2041d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/f1512e6e83524b0ab419de75d1fc822c.png
[6cf854c2b8ee4683a3f6df5409c1fc9a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/b4e12e412e9947139e91f07f7d7e6da8.png
[542e1b1189944847ad9a7a78f63f9686.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/754f23d6fb384df6bed3bdc2884a9a0c.png
[9c01363338934d46b70c8583a20bdc2a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/1f20fa61a1d94e9a87122fe1e71dcc01.png
[5d76f56ea9a24792a2bb0e0bdc7d9f0e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/f5b9cd7834534451954bb915710b2370.png
[428829905ee3416bba39feadd69abb7c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/262e9798501c4600b94a229ee5b67dd3.png
[Link 1]: https://so.csdn.net/so/search?q=%E5%A4%96%E9%94%AE&spm=1001.2101.3001.7020
[c4ba5ddf161d491696c3536fa948c997.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/815fb4ac9855424f907eb6ed6062f21c.png
[f299f56d412b4862ab731f9481f8f3fb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/9289a43643584546aec66936a66e3ddc.png
[d61222bad73d4817b575225d8fd7666a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/057773d412684013b410fc0455ee1ce0.png
[OLAP]: https://so.csdn.net/so/search?q=OLAP&spm=1001.2101.3001.7020
[b9e681daf4214ff89456ba0122a6d396.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/cf46d75938764d198d3dac2a14b5e499.png
[d917a3b1947843d8b89eeb5001e64e02.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/5509773bc52246c184e5b922dd2ad40e.png
[b689c29070194d2193905c0e89fb20b1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/94fbf03ad7af431e890e7811986eaccc.png
[724da1849571457b9fffcb4b8f1e99c6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/e4bc817b16ba4f978d1b86f7bc6cccc6.png
[7a6308fa0ff949ef8582bb31cbfffab0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/0ef8b06e040940ab8edc3cd28be1660d.png
[5659e84165f94b4dbd67b720aa0f27d1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/67a46aad0688420ba8230f8efcb2492c.png
[af6f7bfb4aa54f4d95f517bc37818246.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/5f03c25ea7864020a54e12392641df92.png
[f8dbf533c4494831a625bc3c5ba7dc64.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/12/ec9ae985e25747c2be9c759ca85b2640.png