大数据实时阶段03：PySpark安装

╰+攻爆jí腚メ 2024-02-23 08:30 45阅读 0赞

####  ####

从哪里下载PySpark？

首先PySpark需要从PyPi上面安装，如下URL：https://pypi.org/project/pyspark/\#files

![图片][cbaa6b5f76be6b1000c832a7126f0f3a.jpeg]

若安装PySpark需要首先具备Python环境，这里使用Anaconda环境，安装过程如下：

####  ####

3.1 PySpark安装

可直接参考部署文档即可 <<spark部署文档.doc>> 中关于PySpark的安装操作

####  ####

补充-conda命令

conda虚拟环境命令查看所有环境

conda info --envs 新建虚拟环境

conda create -n myenv python=3.6

删除虚拟环境

conda remove -n myenv --all

激活虚拟环境

conda activate myenv source activate base

退出虚拟环境

conda deactivate myenv

####  ####

3.2 测试pySpark案例-圆周率

Spark框架自带的案例Example中涵盖圆周率PI计算程序，可以使用【$SPARK\_HOME/bin/spark-submit】提交应用执行，运行在本地模式。

*  自带案例pi脚本：【/export/server/spark/examples/src/main/python/pi.py】

![图片][c06bd1cf96f480931532d6b5d06c885f.jpeg]

*  提交运行PI程序

SPARK\_HOME=/export/server/spark  
$\{SPARK\_HOME\}/bin/spark-submit \\  
\--master local\[2\] \\  
$\{SPARK\_HOME\}/examples/src/main/python/pi.py \\  
10

####  ####

3.3 参数解释

（1）基本语法

bin/spark-submit \\  
\--class <main-class> --class: 你的应用的启动类  
\--master <master-url> \\--master 指定Master的地址  
\--executor-memory 1G \\指定每个executor可用内存为1G  
\--total-executor-cores 2 \\指定每个executor使用的cup核数为2个  
\--deploy-mode <deploy-mode> \\--deploy-mode: 是否发布你的驱动到worker节点  
\--py-files XXXX.zip \\ .py、.egg或者.zip文件的逗号分隔列表，包括Python应用程序，这些文件将被交付给每一个执行器来使用。  
\--conf <key>=<value> \\--conf: 任意的Spark配置属性，格式key=value.  
... \# other options  
<application-jar> \\打包好的应用jar,包含依赖.  
\[application-arguments\]传给main()方法的参数

（2）参数说明：

\--master 指定Master的地址，默认为Local  
\--class: 你的应用的启动类 (如 org.apache.spark.examples.SparkPi)  
\--deploy-mode: 是否发布你的驱动到worker节点(cluster) 或者作为一个本地客户端 (client) (default: client)  
\--conf: 任意的Spark配置属性，格式key=value. 如果值包含空格，可以加引号“key=value”  
application-jar: 打包好的应用jar,包含依赖. 这个URL在集群中全局可见。比如hdfs:// 共享存储系统，如果是 file:// path，那么所有的节点的path都包含同样的jar  
application-arguments: 传给main()方法的参数  
\--executor-memory 1G 指定每个executor可用内存为1G  
\--total-executor-cores 2 指定每个executor使用的cup核数为2个

[cbaa6b5f76be6b1000c832a7126f0f3a.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/23/d6b54d447e5a4932b05cd9d5ae0fef69.png
[c06bd1cf96f480931532d6b5d06c885f.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/23/f1fdc905fea843c19681026f9d4afa0d.png