8天Python从入门到精通第十五章 PySpark案例实战 15.1 前言介绍

快来打我* 2024-03-27 15:02 15阅读 0赞

#### 8天Python从入门到精通 ####

[【黑马程序员python教程，8天python从入门到精通，学python看这套就够了】][python_8_python_python]

#### 文章目录 ####

*   *   *  8天Python从入门到精通
         *  第十五章 PySpark案例实战
         *   *  15.1 前言介绍
             *   *  15.1.1 Spark是什么
                 *  15.1.2 Python On Spark
                 *  15.1.3 PySpark
                 *  15.1.4 Why PySpark
                 *  15.1.5 衔接大数据方向
                 *  15.1.6 总结

#### 第十五章 PySpark案例实战 ####

##### 15.1 前言介绍 #####

###### 15.1.1 Spark是什么 ######

定义：Apache Spark是用于**大规模数据**（large-scala data）处理的**统一（unified）分析引擎**。

![在这里插入图片描述][8fb753a947c445a0b7e635b1c1a40e85.png_pic_center]

简单来说，Spark是一款分布式的计算框架，用于调度成百上千的服务器集群，计算TB、PB乃至EB级别的海量数据。

![在这里插入图片描述][68bc6672f4b4484181ffd72a70508de4.png_pic_center]

###### 15.1.2 Python On Spark ######

Spark作为全球顶级的分布式计算框架，支持众多的编程语言进行开发。

而Python语言，则是Spark重点支持的方向。

![在这里插入图片描述][2deca06a9f2b4e13bdb9859354c010f1.png_pic_center]

![在这里插入图片描述][af1ff97ca4694f36bcc6f6788785a5da.png_pic_center]

###### 15.1.3 PySpark ######

Spark对Python语言的支持，重点体现在，Python第三方库：PySpark之上。

PySpark是由Spark官方开发的Python语言第三方库。

Python开发者可以使用pip程序快速的安装PySpark并像其它三方库那样直接使用。

![在这里插入图片描述][2e664843bee34878aace02daeaf5f637.png_pic_center]

为什么要学习PySpark技术呢？

###### 15.1.4 Why PySpark ######

Python应用场景和就业方向是十分丰富的，其中，最为亮点的方向为：

大数据开发 和 人工智能

![在这里插入图片描述][f55c2491739f4b1c949b4d7c7fa04757.png_pic_center]

![在这里插入图片描述][1bb9ee36a06f4f45a3f6d7aa82e0c9ab.png_pic_center]

大数据是Python的高薪就业方向，Spark（PySpark）技术是大数据的核心技术栈

###### 15.1.5 衔接大数据方向 ######

只会Python就学大数据，能学会吗？

课程中，不会涉及到分布式等大数据相关理论，仅使用PySpark作为普通的Python第三方库进行使用。

会Python，就能学会。

![在这里插入图片描述][2d4165c92e4b42cd81d9e925889f9e53.png_pic_center]

> 慢慢来

###### 15.1.6 总结 ######

1.  什么是Spark、什么是PySpark

Spark是Apache基金会旗下的顶级开源项目，用于对海量数据进行大规模分布式计算。

PySpark是Spark的Python实现，是Spark为Python开发者提供的编程入口，用于以Python代码完成Spark任务的开发

PySpark不仅可以作为Python第三方库使用，也可以将程序提交的Spark集群环境中，调度大规模集群进行执行。

1.  为什么要学习PySpark？  
    大数据开发是Python众多就业方向中的明星赛道，薪资高岗位多，Spark（PySpark）又是大数据开发中的核心技术
2.  如何衔接大数据开发方向？

以Python第三方库的视角学习使用PySpark，不涉及专业大数据知识，所以完全可以学会  
想要深入大数据开发领域：

![在这里插入图片描述][13a089505cf34fa0956a35482d7f4a60.png_pic_center]

冲了，技多不压身。

[python_8_python_python]: https://www.bilibili.com/video/BV1qW4y1a7fU
[8fb753a947c445a0b7e635b1c1a40e85.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4310e116d4f94edd92d1e769231b858b.png
[68bc6672f4b4484181ffd72a70508de4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/fbeca4a2195048819e49c9f2bd4000d3.png
[2deca06a9f2b4e13bdb9859354c010f1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9081f889f27c4f269e2008af38c16d37.png
[af1ff97ca4694f36bcc6f6788785a5da.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/29c218f24ac84c60bebdcdae4ad344ee.png
[2e664843bee34878aace02daeaf5f637.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/379118095a314d5eac0a9f9338ad23b7.png
[f55c2491739f4b1c949b4d7c7fa04757.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c6360adf16d64b2fb56d1eaafce39bce.png
[1bb9ee36a06f4f45a3f6d7aa82e0c9ab.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1b23ebebdc284c09a22f87e962354a9c.png
[2d4165c92e4b42cd81d9e925889f9e53.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bea164a156594159881b876ad8e45633.png
[13a089505cf34fa0956a35482d7f4a60.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/aca2be2fe4e34b0282acb70dd3d6b9d4.png