8天Python从入门到精通第十五章 PySpark案例实战 15.7 分布式集群运行

╰+哭是因爲堅強的太久メ 2024-03-27 15:03 59阅读 0赞

#### 8天Python从入门到精通 ####

[【黑马程序员python教程，8天python从入门到精通，学python看这套就够了】][python_8_python_python]

#### 文章目录 ####

*   *   *  8天Python从入门到精通
         *  第十五章 PySpark案例实战
         *   *  15.7 分布式集群运行
             *   *  15.7.1 将案例提交到YARN集群中运行

#### 第十五章 PySpark案例实战 ####

##### 15.7 分布式集群运行 #####

###### 15.7.1 将案例提交到YARN集群中运行 ######

提交命令：

提交命令：
    bin/spark-submit --master yarn --num-executors 3 --queue root.teach --executor-cores 4 --executor-memory 4g /home/hadoop/demo.py

![在这里插入图片描述][25a3fcd2ad4e45ba8c837b8ab9efb896.png_pic_center]

这里老师并没有说怎么搭建，只是让瞅瞅

![在这里插入图片描述][081fdbe1b77846c58dc73ff60ab028e6.png_pic_center]

这是老师的Hadoop 集群，三个节点，配置还算不错

待分析数据：

![在这里插入图片描述][8982bfdafffc49e48500d467fcfee844.png_pic_center]

4.2个G 的新文件

![在这里插入图片描述][384b823409704e269fce608915981da6.png_pic_center]

使用的代码都差不多， 路径小改

![在这里插入图片描述][5709e7b4c8104615bba4c6e20529d24c.png_pic_center]

新建一个py脚本

![在这里插入图片描述][73b334d40cb548b1a67f6e1105a073e8.png_pic_center]

代码都放进去了

![在这里插入图片描述][2ebf71982d814269beea61c55b087288.png_pic_center]

直接运行提交命令

![在这里插入图片描述][45df94cef8914e20a65e4bdfab23c5fb.png_pic_center]

通过控制台可以看见

![在这里插入图片描述][df30f39079e843b59139ded311277a50.png_pic_center]

当前应用就正在运行了

![在这里插入图片描述][98cedfe500664beabc1296a342a3e638.png_pic_center]

查看详细监控信息

![在这里插入图片描述][0b084bae8c6d434c8a67993ed32c2774.png_pic_center]

![在这里插入图片描述][1c4e0f748e3b492aa037dab5debf9db8.png_pic_center]

可以看到完成时间是很快的， 4.2G 的文件，几十秒就出来了

![在这里插入图片描述][9c41c8753172459ea42a2075ef75bcef.png_pic_center]

> 可以学学

![在这里插入图片描述][e8fa9ce04bf24be9b190bf6e91bc065a.png_pic_center]

简单查看写出结果

![在这里插入图片描述][c73e6fc8f1ae4da09a38c093ca009932.png_pic_center]

没问题

[python_8_python_python]: https://www.bilibili.com/video/BV1qW4y1a7fU
[25a3fcd2ad4e45ba8c837b8ab9efb896.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/53e66a6b7d86443abf40588cbca39ecd.png
[081fdbe1b77846c58dc73ff60ab028e6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ba8f44c7bd3b4bee856926c8469c0755.png
[8982bfdafffc49e48500d467fcfee844.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e5708cd2ff604050a9640f0ed145dcaf.png
[384b823409704e269fce608915981da6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/89af22b768074849ae288d10b8df8e46.png
[5709e7b4c8104615bba4c6e20529d24c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6e7d551735ea4870877706ae1fdda5ae.png
[73b334d40cb548b1a67f6e1105a073e8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a17b015ad75b4430ae5ab652754ef7e6.png
[2ebf71982d814269beea61c55b087288.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/10a464093b08462b8f3888f95fca6db0.png
[45df94cef8914e20a65e4bdfab23c5fb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4a70414f7fe048c2ab3b95adb5f31ed9.png
[df30f39079e843b59139ded311277a50.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/68ccc45047d4413b823e378763177dfa.png
[98cedfe500664beabc1296a342a3e638.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/726b75d43440478d87147588d8097582.png
[0b084bae8c6d434c8a67993ed32c2774.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/cc1bee5b286845f59ff3812c79b65e8c.png
[1c4e0f748e3b492aa037dab5debf9db8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/4e9c48295da942129255e8ce266431a1.png
[9c41c8753172459ea42a2075ef75bcef.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/950982715d2b4d52a02e789b9c875fe9.png
[e8fa9ce04bf24be9b190bf6e91bc065a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/a44b5dadc0a046cdbbc224eecbe686f2.png
[c73e6fc8f1ae4da09a38c093ca009932.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/b7dd8c1bcdde42fbb64bb3d7724b85ed.png