Python数据分析与挖掘实战_张良均

爱被打了一巴掌 2022-02-18 13:09 274阅读 0赞

### 一、Python数据分析工具 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70][]

### 二、数据探索 ###

一、**对数据的质量分析**

**异常值的分析：**

1. 简单的统计量分析：查看最大最小值是否在合理范围

2.3δ原则，在正态分布下异常值被定义为一组定值与平均值的距离超过3倍的标准差。

3.箱形图分析：

异常值被定义为小于QL-1.5IQR 或大于QR+1.5IQR

QL是所有数据的下四分位，QR是所有数据的上四分位。IQR是QR-QL

DataFrame中describe()已经给出了基本的统计

二、**数据特征分析**

1.**可以使用pandas、matplotlib绘制统计图**

散点图矩阵可以分析每两个变量的关系。

2**.计算相关系数**

①Pearson相关系数

②Spearman秩相关系数

③判定系数

使用pandas的corr()计算相关系数

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 1][]

![20190417164108223.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 3][]

**绘制条形图和折线图**：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 4][]

### 三、数据预处理 ###

**缺失**：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 5][]

插值法主要用两类：

拉格朗插值（python scipy库中有）、牛顿插值。

**数据变换**：

使用简单的函数如：x'=x^2  x'=sqrt(x)  x'=log(x)

**规范化**：

①最小最大规范化

②零-均值规范化：将数据处理成均值为0，标准差为1

③小数定标规范化

![20190417170715690.png][]

**连续属性离散化**

**数据规约**：产生更小保持原数据完整性的新数据集。

主要方法有合并属性、决策树归纳、主成分分析

**数值规约**：？？？？

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 6][]

### 四、挖掘建模 ###

**1、分类 预测**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 8][]

**2、聚类分析**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 10][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 11][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70]: /images/20220218/e51c351488ea48318f78285c500db03f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 1]: /images/20220218/40fdb913046c4d298fe19df5927e4ed4.png
[20190417164108223.png]: /images/20220218/da9da95e4a684d058c86c4bc1ba356e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 2]: /images/20220218/af18cfcc2c6646b29f7f433e92078b3a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 3]: /images/20220218/ca7a3bcde59b45e7aca167c0112dbd8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 4]: /images/20220218/0300c99030d14e07baca5b520d607269.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 5]: /images/20220218/ce44c27ad8e24aae99c290b03289e3b1.png
[20190417170715690.png]: /images/20220218/0fc610bcb6f74ffa8776929a0ee30949.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 6]: /images/20220218/037db02ed2f14bd0acf8a4cfd69b60df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 7]: /images/20220218/15591b2308ad44a789cf5c2c14b9d5bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 8]: /images/20220218/66dac60fbdfb46f3a84e2ac2adf94f12.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 9]: /images/20220218/0419b07bda8d41d3a70301a973c1d6d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 10]: /images/20220218/bff388589f7f421793a8cbf40f74a2b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1X2x1bg_size_16_color_FFFFFF_t_70 11]: /images/20220218/633bce91eaf947a59944752b3231c8b3.png