ubuntu下spark集群实践以及问题总结

迷南。 2022-04-10 02:43 200阅读 0赞

### spark集群实践以及问题总结 ###

*  准备工作
 *   *  配置集群
     *  运行spark的样例

# 准备工作 #

1.  安装虚拟机三台：192.168.55.128、192.168.55.132、192.168.55.133
2.  下载spark-2.3.2-bin-hadoop2.7、scala-2.12.8、jdk1.8安装并配置环境变量，在三台机器上均需配置安装
3.  在三台机器上均通过sudo apt-get install openssh-server命令安装ssh
4.  预定128为master分支，设置128到另外两台机器的ssh免密登录，具体操作自行google

## 配置集群 ##

Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos，我们选择最具代表性的Standalone集群部署模式。配置的主要过程很简单，逻辑大概是修改master机器上的spark配置文件，maseter配置完成后，把配置好的文件家完全复制到slave机器即可：

1.  进入到Spark安装目录 cd /home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/conf  
    2.将slaves.template复制为slaves，在其中插入slaver机器的ip即可![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70]
2.  [将spark-env.sh.template复制为spark-env.sh][spark-env.sh.template_spark-env.sh]，修改添加内容为spark的主界面的ip和端口，即master的ip和spark的端口  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 1]
3.  修改spark-config.sh文件添加JAVA\_HOME地址(不添加可能会在启动时候报java\_home not set)
4.  ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 2]
5.  在master配置好后，把spark安装目录下完全copy到其他slaves即可
6.  进入master启动 ./home/usr/local/lib/hadoop/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh
7.  在浏览器打开http://192.168.55.128:8080/可以看到即为安装成功
8.  ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 3]

## 运行spark的样例 ##

spark有命令行运行交互方式，主要在bin目录下，shell为scale交互，sparkR为R语言的交互等等，不一一累述，具体可以自行百度，下面具体介绍spark-submit运行样例：**该算法是利用蒙特·卡罗算法求PI**  
![在这里插入图片描述][20181224105300346.png]

1.  运行spark自带的样例,看到截图即为成功求出值，在浏览器界面也可以看到
    
    > root@ubuntu:/usr/local/lib/spark-2.3.2-bin-hadoop2.7/bin\# ./spark-submit  
    > –class org.apache.spark.examples.SparkPi  
    > –master spark://192.168.55.128:7077  
    > –executor-memory 1G  
    > –total-executor-cores 2  
    > /usr/local/lib/spark-2.3.2-bin-hadoop2.7/examples/jars/spark-examples\_2.11-2.3.2.jar  
    > 100  
    > ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 4]  
    > ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 5]  
    > 参数说明：  
    > –master spark://master01:7077 指定Master的地址  
    > –executor-memory 1G 指定每个executor可用内存为1G  
    > –total-executor-cores 2 指定每个executor使用的cup核数为2个  
    > 该算法是利用蒙特·卡罗算法求PI

**spark集群的过程还是比较简单明了的，其中ssh互通那块可能会遇到一点问题，我三台机器均是用root用户运行，互通也是使用root用户，有问题大家可以留言相互探讨**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70]: /images/20220403/73f317dda51e4a87b5099f2a9db0acd8.png
[spark-env.sh.template_spark-env.sh]: http://xn--spark-env-kj5q.sh.xn--templatespark-env-rn60ay76cti6a.sh
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 1]: /images/20220403/6559fba4e3c3490db235120d83e1596f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 2]: /images/20220403/5da8f0871363448e9880dea65b7347ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 3]: /images/20220403/2e22faaae4284a94a67e31ba962d1532.png
[20181224105300346.png]: /images/20220403/314c8b92fd534702a8c2e74157c8c29f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 4]: /images/20220403/a3049ff6e4c846d390e8ec0c9ff26875.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0ODcyMTE1_size_16_color_FFFFFF_t_70 5]: /images/20220403/a28cb04e054e406ab502bcf1598ff074.png