8天Python从入门到精通第十五章 PySpark案例实战 15.2 基础准备

水深无声 2024-03-27 15:02 11阅读 0赞

#### 8天Python从入门到精通 ####

[【黑马程序员python教程，8天python从入门到精通，学python看这套就够了】][python_8_python_python]

#### 文章目录 ####

*   *   *  8天Python从入门到精通
         *  第十五章 PySpark案例实战
         *   *  15.2 基础准备
             *   *  15.2.1 PySpark库的安装
                 *  15.2.2 构建PySpark执行环境入口对象
                 *  15.2.3 PySpark的编程模型
                 *  15.2.4 总结

#### 第十五章 PySpark案例实战 ####

##### 15.2 基础准备 #####

###### 15.2.1 PySpark库的安装 ######

同其它的Python第三方库一样，PySpark同样可以使用pip程序进行安装。

在”CMD”命令提示符程序内，输入：

pip install pyspark

或使用国内代理镜像网站（清华大学源）

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

![在这里插入图片描述][fabb96561f244e598a038a29d4b8f8ff.png_pic_center]

今天是2023 年1月29 日，版本已经3.3 了

###### 15.2.2 构建PySpark执行环境入口对象 ######

想要使用PySpark库完成数据处理，首先需要构建一个执行环境入口对象。

PySpark的执行环境入口对象是：类 SparkContext 的类对象

![在这里插入图片描述][5a4e4b2770a443d7a98c64612d179abf.png_pic_center]

from pyspark import SparkConf, SparkContext
    
    conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
    sc = SparkContext(conf=conf)
    
    print(sc.version)
    sc.stop()

运行结果

![在这里插入图片描述][58aaa6f77af4462dadd7f773e1a88098.png_pic_center]

###### 15.2.3 PySpark的编程模型 ######

SparkContext类对象，是PySpark编程中一切功能的入口。

PySpark的编程，主要分为如下三大步骤：

![在这里插入图片描述][6f586ee05cf546789e84c5318b63821f.png_pic_center]

*  数据输入
    
    通过SparkContext类对象的成员方法完成数据的读取操作，读取后得到RDD类对象
 *  数据处理计算
    
    通过RDD类对象的成员方法完成各种数据计算的需求
 *  数据输出
    
    将处理完成后的RDD对象调用各种成员方法完成写出文件、转换为list等操作

![在这里插入图片描述][cb75cf6a38c64f6cb41e9145b08f9271.png_pic_center]

*  通过SparkContext对象，完成数据输入
 *  输入数据后得到RDD对象，对RDD对象进行迭代计算
 *  最终通过RDD对象的成员方法，完成数据输出工作

###### 15.2.4 总结 ######

1.  如何安装PySpark库

pip install pyspark

1.  为什么要构建SparkContext对象作为执行入口

PySpark的功能都是从SparkContext对象作为开始

1.  PySpark的编程模型是？

*  数据输入：通过SparkContext完成数据读取
 *  数据计算：读取到的数据转换为RDD对象，调用RDD的成员方法完成计算
 *  数据输出：调用RDD的数据输出相关成员方法，将结果输出到list、元组、字典、文本文件、数据库等

[python_8_python_python]: https://www.bilibili.com/video/BV1qW4y1a7fU
[fabb96561f244e598a038a29d4b8f8ff.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/515cb3c8a16849b0931e4c832299ff68.png
[5a4e4b2770a443d7a98c64612d179abf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/d6efd81272e44556b9af0ba59bb9607b.png
[58aaa6f77af4462dadd7f773e1a88098.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ab9f1343d45844e1985ae16f76a33abb.png
[6f586ee05cf546789e84c5318b63821f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c28c74eafb0841e2a7983648618edcab.png
[cb75cf6a38c64f6cb41e9145b08f9271.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0bb0c783b8254c5185a1c191bf76837b.png