Spark启动后WebUI看不到Workers

àì夳堔傛蜴生んèń 2022-12-28 05:30 105阅读 0赞

如果spark-env 配置好了，一般是master防火墙没关闭。

\#centos8查看防火墙状态  
systemctl status firewalld.service

\#开启防火墙  
systemctl start firewalld.service

\#关闭防火墙  
systemctl stop firewalld.service

\#禁用防火墙  
systemctl disable firewalld.service

=====================================================

Work启动，但Http中没有Worker节点：说明Slave节点与Master的通讯出现问题，或Slave节点无法向Master注册，导致虽然Woker启动但不能在Master中找到。

搜了一堆，被这个问题折磨了一天，总结一下主要是下面几个解决办法

1. spark-env.sh 文件中需要显式地设置一些环境变量，不用系统默认值

参考：[https://blog.csdn.net/qq1187239259/article/details/79489800?utm\_source=blogxgwz2][https_blog.csdn.net_qq1187239259_article_details_79489800_utm_source_blogxgwz2]

2. spark-env.sh文件中有关master节点的信息写32位IP地址，不要写机器别名

参考：[https://blog.csdn.net/u014204541/article/details/80775656][https_blog.csdn.net_u014204541_article_details_80775656]

3. 关闭防火墙

4 . 更改启动方式

参考：[https://blog.csdn.net/ybdesire/article/details/70666544][https_blog.csdn.net_ybdesire_article_details_70666544]

5. 主机名称不一致

参考：[https://blog.csdn.net/ningyanggege/article/details/86655419][https_blog.csdn.net_ningyanggege_article_details_86655419]

6. **重新加载一下spark-env.sh！！！！！？？？**

日他妈，折磨我一天之后，终于死心了，重头做了一遍 + source spark-env.sh，也不知道是哪个起了作用，反正是终于解决了

啊哈哈哈哈哈

[https_blog.csdn.net_qq1187239259_article_details_79489800_utm_source_blogxgwz2]: https://blog.csdn.net/qq1187239259/article/details/79489800?utm_source=blogxgwz2
[https_blog.csdn.net_u014204541_article_details_80775656]: https://blog.csdn.net/u014204541/article/details/80775656
[https_blog.csdn.net_ybdesire_article_details_70666544]: https://blog.csdn.net/ybdesire/article/details/70666544
[https_blog.csdn.net_ningyanggege_article_details_86655419]: https://blog.csdn.net/ningyanggege/article/details/86655419