数据挖掘建模过程

短命女 2022-02-19 15:21 288阅读 0赞

### 数据挖掘建模过程 ###

#### 1.定义挖掘目标 ####

*  针对具体的数据挖掘应用需求， 首先要明确本次的挖掘目标是什么？系统完成后能达到什么样的效果？因此， 我们必须分析应用领域， 包括应用中的各种知识和应用目标， 了解相关领域的情况， 熟悉背景知识， 弄清用户需求。要想充分发挥数据挖掘的价值， 必须对目标有一个清晰明确的定义， 即决定到底想干什么。

#### 2.数据取样 ####

*  明确挖掘目标之后，取样本数据集

标准：

1.  相关性
2.  可靠性
3.  有效性

*  样本并非是全部数据：
    
    1.  减少数据处理量
    2.  节省系统资源
    3.  使规律性更加凸显出来
 *  注意：一定要好严格控制取样质量
    
     *  标准
        
        1.  资料完整无缺，各类指标齐全。
        2.  数据准确无误， 反映的都是正常（而不是异常） 状态下的水平
 *  对获取的数据， 可再从中进行抽样操作。 抽样的方式是多种多样的， 常见的方式如下
    
     *  随机抽样：在采用随机抽样方式时， 数据集中的每一组观测值都有相同的被抽样的概率。 如按10%的比例对一个数据集进行随机抽样， 则每一组观测值都有10%的机会被取到。
     *  等距抽样：如按5%的比例对一个有100 组观测值的数据集进行等距抽样， 则有  
        100/5 = 20, 等距抽样方式是取第20、40、60、80 和第100这5 组观测值。分层抽样：在这种抽样操作时， 首先将样本总体分成若干层次（或者说分成若干个子集）。 在每个层次中的观测值都具有相同的被选用的概率， 但对不同的层次可设定不同的概率。 这样的抽样结果通常具有更好的代表性， 进而使模型具有更好的拟合精度。
     *  从起始顺序抽样：这种抽样方式是从输入数据集的起始处开始抽样。 抽样的数量可  
        以给定一个百分比， 或者直接给定选取观测值的组数。
     *  分类抽样：在 前述几种抽样方式中， 并不考虑抽取样本的具体取值。 分类抽样则依据某种属性的取值来选择数据子集， 如按客户名称分类、按地址区域分类等。 分类抽样的选取方式就是前面所述的几种方式， 只是抽样以类为单位。

#### 3.数据探索 ####

*  异常值分析
 *  缺失值分析
 *  相关分析
 *  周期性分析等

#### 4.数据预处理 ####

#### 5.挖掘建模 ####

#### 6.模型评价 ####

####  ####