大数据Spark框架 5：Spark On Yarn环境配置

刺骨的言语ヽ痛彻心扉 2024-03-27 18:40 8阅读 0赞

#### 2. Spark On Yarn环境配置 ####

2.1 Spark On Yarn的本质

本质: 将Spark程序运行在Yarn集群中, 由Yarn完成资源调度工作

2.2 配置Spark On Yarn

关于整个配置, 大家直接参考：https://zhuanlan.zhihu.com/p/549837799?utm\_id=0

2.3 提交应用测试

*  提交之前Spark中用于计算圆周率的PY脚本

cd /export/server/spark/bin/  
./spark-submit \\  
\--master yarn \\  
\--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \\  
\--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \\  
/export/server/spark/examples/src/main/python/pi.py 100

*  将编写的WordCount的代码提交到Yarn平台运行
 *  注意1：需要将代码中 master参数删除， 或者 修改为 yarn
 *  注意2: 读取的路径必须为HDFS， 如果是本地， 可能Yarn在运行的时候，无法找到对应的文件， 需要将所有的节点本地都得有这个文件

./spark-submit \\  
\--master yarn \\  
\--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \\  
\--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \\  
/export/data/workspace/gz11\_pyspark\_parent/\_01\_spark\_base/src/\_05\_pyspark\_wd\_out.py  
  
注意：py脚本的路径写自己的路径， 不要复制我的路径。

如何查看日志：

*  通过Spark提供的18080日志服务器查看：推荐使用

![图片][fffb2850f2ac4f6777d208941fcc313e.png]

直接查看对应executor的日志：

![图片][0d1cf8b247a2464eb7e8a07e8c3bf058.png]

![图片][ba1ce0eeef24c544e1fdea9efaa5ed30.png]

1- 发现日志很少: 在配置spark on yarn的时候， 日志的级别更改为 warn 警告日志， 所以基础日志就不会被记录下来  
  
2- 发现Driver根据就没有日志：原因与部署模式有关系  
  
3- spark的18080日志服务器是依赖于 Yarn提供的job history日志服务器， 如果没有这个日志服务， 18080也无法查看到具体的日志

*  查看对应线程的日志

![图片][8a682e15603d4efdfafe1b4b21d591f6.png]

![图片][5ca9e729347538f4f71fef5d811145ab.png]

![图片][27ff2d8a3ddc9afa123ad385401ee365.png]

![图片][76973c2f5689f412e8543414a2e91f79.png]

还可以通过Yarn的8088界面查看日志：

![图片][aaaba3911379528f98db9aca9dd12d9f.png]

![图片][769faa05527b216b1581258e76364a4d.png]

点进去后， 如果日志比较多， 也可以点击查看详细日志

![图片][11f6e3b8035e88d388f14580b66431aa.png]

2.4 两种部署方式说明

当我们通过Spark-submit方式来提交Spark应用到Yarn或者Spark集群的时候， 提供了两种部署模式：client 和 cluster

client模式 和 cluster模式本质区别: Spark应用程序中Driver程序运行的位置  
  
Client模式: Driver程序是运行在客户端的本地（应用是在哪里进行提交的， Driver就会运行在哪里） 默认值  
优势: 测试比较方便， 直接通过Driver看到最终返回的结果  
弊端: 由于不是在一起的（Driver 和 executor不是在一个环境中）， 受网络影响因素会比较大， 导致执行效率比较低  
一般client模式更加适用于测试使用  
  
Cluster模式: Driver程序是运行在集群中的某个从节点上  
优势: 提升Driver程序和executor程序之间的传输效率， 从而提升整体的运行效率  
弊端: 由于Driver运行在集群里面， 导致我们无法直接看到运行的结果， 如果想要看到结果， 就必须查看运行的日志  
  
一般在生产线上环境 使用cluster

演示操作：

*  Client模式：

./spark-submit \\  
\--master yarn \\  
\--deploy-mode client \\  
\--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \\  
\--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \\  
/export/data/workspace/gz11\_pyspark\_parent/\_01\_spark\_base/src/\_05\_pyspark\_wd\_out.py

![图片][735bf741e82a3d56a5edacd63f5a6684.png]

*  cluster模式

./spark-submit \\  
\--master yarn \\  
\--deploy-mode cluster \\  
\--conf "spark.pyspark.driver.python=/root/anaconda3/bin/python3" \\  
\--conf "spark.pyspark.python=/root/anaconda3/bin/python3" \\  
/export/data/workspace/gz11\_pyspark\_parent/\_01\_spark\_base/src/\_05\_pyspark\_wd\_out.py

![图片][67269346109ba2ddc7e5a505f5003688.png]

![图片][ae55382c6961201be90481d79fefcb1c.png]

![fc969e64ae494c698db91deea8b279e4.png][]

[fffb2850f2ac4f6777d208941fcc313e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/820006b394fb42a990d0979956798ada.png
[0d1cf8b247a2464eb7e8a07e8c3bf058.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/93724189fc89426382882295567eb0a1.png
[ba1ce0eeef24c544e1fdea9efaa5ed30.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/fce14c075e80450b85ecae77f47a09fb.png
[8a682e15603d4efdfafe1b4b21d591f6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/2b2de1995c354a1dba510baa4feed0b8.png
[5ca9e729347538f4f71fef5d811145ab.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/9afe9bdb57aa4753802653ede0614cc9.png
[27ff2d8a3ddc9afa123ad385401ee365.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/5c5e215738f645bab19ac6864c056e1a.png
[76973c2f5689f412e8543414a2e91f79.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/76df9587405441f29bb793c1c5cd7044.png
[aaaba3911379528f98db9aca9dd12d9f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/1df610fdf71d469986e09174066e72ec.png
[769faa05527b216b1581258e76364a4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/247d3c2da66b4b208bef1d379aac8bf4.png
[11f6e3b8035e88d388f14580b66431aa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/6883e97be9a04a2b9d68da08fa0a1f89.png
[735bf741e82a3d56a5edacd63f5a6684.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/32630ca3e8644410803d5586c4e686df.png
[67269346109ba2ddc7e5a505f5003688.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/6c8a974b13fc443ab6567ebdad66438c.png
[ae55382c6961201be90481d79fefcb1c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/9f76c7124f8d444aa483729e90402e6c.png
[fc969e64ae494c698db91deea8b279e4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/e1f585aa2e15452899de215150fc8733.png