python库——从数据处理到人工智能

小鱼儿 2023-03-01 06:17 27阅读 0赞

### python库介绍 ###

*   *   *  从数据处理到人工智能
         *   *  数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能
             *  Python库之数据分析
             *  Python库之数据可视化
             *  Python之文本处理
             *  Python之机器学习

### 从数据处理到人工智能 ###

#### 数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能 ####

*  数据表示：采用合适方式用程序表达数据
 *  数据清理：数据归一化、数据转换、异常值处理
 *  数据统计：数据的概要理解，数量、分布、中位数等
 *  数据可视化：直观展示数据内涵的方式
 *  数据挖掘：从数据分析获得知识，产生数据外的价值
 *  人工智能：数据/语言/图像/视觉等方面深度分析与决策

#### Python库之数据分析 ####

**Numpy: 表达N维数组的最基础库**

*  Python接口使用，C语言实现，计算速度优异
 *  Python数据分析及科学计算的基础库，支撑Pandas等 - 提供直接的矩阵运算、广播函数、线性代数等功能

# numpysum.py
    import numpy as np
    def npsum():
        a = np.array([0,1,2,3,4])
        b = np.array([9,8,7,6,5])
        d = np.array([1,1,1,1,1])
        c = a*2 + b + d  # 进行一维数组相加,空隔隔开
        print(type(c))
        return c
    print(npsum())

![在这里插入图片描述][20200722175102865.png]  
**Pandas: Python数据分析高层次应用库**

*  提供了简单易用的数据结构和数据分析工具
 *  理解数据类型与索引的关系，操作索引即操作数据
 *  Python最主要的数据分析功能库，基于Numpy开发

**SciPy: 数学、科学和工程计算功能库**

*  提供了一批数学算法及工程数据运算功能
 *  类似Matlab，可用于如傅里叶变换、信号处理等应用
 *  Python最主要的科学计算功能库，基于Numpy开发  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]

#### Python库之数据可视化 ####

**Matplotlib: 高质量的二维数据可视化功能库**

*  提供了超过100种数据可视化展示效果
 *  通过matplotlib.pyplot子库调用各可视化效果
 *  Python最主要的数据可视化功能库，基于Numpy  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]

**Seaborn: 统计类数据可视化功能库**

*  提供了一批高层次的统计类数据可视化展示效果
 *  主要展示数据间分布、分类和线性关系等内容
 *  基于Matplotlib开发，支持Numpy和Pandas![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]

**Mayavi：三维科学数据可视化功能库**

*  提供了一批简单易用的3D科学计算数据可视化展示效果
 *  目前版本是Mayavi2，三维可视化最主要的第三方库
 *  支持Numpy、TVTK、Traits、Envisage等第三方库![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]

#### Python之文本处理 ####

**PyPDF2：用来处理pdf文件的工具集**

*  提供了一批处理PDF文件的计算功能
 *  支持获取信息、分隔/整合文件、加密解密等
 *  完全Python语言实现，不需要额外依赖，功能稳定

**NLTK：自然语言文本处理第三方库**

*  提供了一批简单易用的自然语言文本处理功能
 *  支持语言文本分类、标记、语法句法、语义分析等
 *  最优秀的Python自然语言处理库

**Python-docx：创建或更新Microsoft Word文件的第三方库**

*  提供创建或更新.doc .docx等文件的计算功能
 *  增加并配置段落、图片、表格、文字等，功能全面

#### Python之机器学习 ####

**Scikit-learn：机器学习方法工具集**

*  提供一批统一化的机器学习方法功能接口
 *  提供聚类、分类、回归、强化学习等计算功能
 *  机器学习最基本且最优秀的Python第三方库

**TensorFlow：AlphaGo背后的机器学习计算框架**

*  谷歌公司推动的开源机器学习框架
 *  将数据流图作为基础，图节点代表运算，边代表张量
 *  应用机器学习方法的一种方式，支撑谷歌人工智能应用

**MXNet：基于神经网络的深度学习计算框架**

*  提供可扩展的神经网络及深度学习计算功能
 *  可用于自动驾驶、机器翻译、语音识别等众多领域
 *  Python最重要的深度学习计算框架

**从数据处理到人工智能**

*  Numpy、Pandas、SciPy
 *  Matplotlib、Seaborn、Mayavi
 *  PyPDF2、NLTK、python-docx
 *  Scikit-learn、TensorFlow、MXNet

[20200722175102865.png]: /images/20230209/c5a3a272257046049d2195db80aad344.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]: /images/20230209/0b43366e9a7043b398215d7d3e97aa44.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]: /images/20230209/d1dd9fe159db47c7b91aa84a37fd0220.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]: /images/20230209/b2774a995e294429b21f07a668e9a2ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200722175556983.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ==,size_16,color_FFFFFF,t_70