Spark集群模式安装

旧城等待， 2021-11-05 17:00 368阅读 0赞

实现步骤：

1）上传解压spark安装包

2）进入spark安装目录的conf目录

3）配置spark-env.sh文件

**配置示例：**

**\#本机ip地址**

SPARK\_LOCAL\_IP=hadoop01

\#spark的shuffle中间过程会产生一些临时文件，此项指定的是其存放目录，不配置默认是在 /tmp目录下

SPARK\_LOCAL\_DIRS=/home/software/spark/tmp

export JAVA\_HOME=/home/software/jdk1.8

4）在conf目录下，编辑slaves文件

**配置示例：**

hadoop01

hadoop02

hadoop03

5）配置完后，将spark目录发送至其他节点，并更改对应的 **SPARK\_LOCAL\_IP** 配置

启动集群

1）如果你想让 01 虚拟机变为master节点，则进入01 的spark安装目录的sbin目录

执行： sh start-all.sh

2）通过jps查看各机器进程，

01：Master +Worker

02：Worker

03：Worker

3）通过浏览器访问管理界面

[http://192.168.234.11:8080][http_192.168.234.11_8080]

![1717242-20190808191942078-363960754.png][]

4）通过spark shell 连接spark集群

进入spark的bin目录

执行：sh spark-shell.sh --master spark://192.168.234.11:7077

6）在集群中读取文件：

sc.textFile("/root/work/words.txt")

默认读取本机数据 这种方式需要在集群的每台机器上的对应位置上都一份该文件 浪费磁盘

7）所以应该通过hdfs存储数据

sc.textFile("hdfs://hadoop01:9000/mydata/words.txt");

**注：**可以在spark-env.sh 中配置选项 HADOOP\_CONF\_DIR 配置为hadoop的etc/hadoop的地址 使默认访问的是hdfs的路径

**注：**如果修改默认地址是hdfs地址 则如果想要访问文件系统中的文件 需要指明协议为file 例如 sc.text("file:///xxx/xx")

转载于:https://www.cnblogs.com/shuzhiwei/p/11323212.html

[http_192.168.234.11_8080]: http://192.168.234.11:8080
[1717242-20190808191942078-363960754.png]: /images/20211104/00d41f0245014dd19d99dde2000b96d4.png

发表评论取消回复

表情：

评论列表（有 0 条评论，368人围观）

还没有评论，来说两句吧...

相关阅读

相关 Spark运行standalone集群模式

> spark的集群主要有三种运行模式standalone、yarn、mesos，其中常被使用的是standalone和yarn，本文了解一下什么是standalone运行模式

电玩女神/ 2023年10月05日 17:14/ 0 赞/ 5 阅读

相关 spark-集群模式概述

集群模式概述简单介绍spark如何运行在集群上，以便更容易理解所涉及的组件。通读[应用程序提交][Link 1]，了解如何在集群上启动应用程序。组件 Spar

港控/mmm°/ 2022年08月31日 13:28/ 0 赞/ 169 阅读

相关 Spark集群模式概述

1 集群模式概述首先在这里先简单介绍一下集群模式。Spark是一个大数据分析框架，自然会涉及到在集群上运行一些应用。这里只给出了如何让Spark运行在集群上的一些简单概述来

小鱼儿/ 2022年07月25日 16:34/ 0 赞/ 175 阅读

相关 Spark -5：Standalone 集群模式

翻译：http://spark.apache.org/docs/latest/spark-standalone.html\standby-masters-w

痛定思痛。/ 2022年07月15日 06:54/ 0 赞/ 183 阅读

相关 Spark集群安装配置

一、准备工作 1.安装centos 6.5 2.安装 jdk 1.8.x 3.配置三台机器之间的ssh通信 4.安装hadoop2.7.x以上的版本以上步骤在已经配

红太狼/ 2022年05月27日 05:38/ 0 赞/ 262 阅读

相关 Spark之本地模式与集群模式

Spark之本地模式与集群模式 1.spark-shell的本地模式和集群模式 1.1 local本地模式直接启动spark-shell命令窗口脚本启动后，

一时失言乱红尘/ 2022年05月25日 04:08/ 0 赞/ 203 阅读

相关 Spark系列(四)Spark集群模式详解

前言 Spark的部署模式有Local、Local-Cluster、Standalone、Yarn、Mesos,其中Yarn和Mesos是类似的，都不需要额外部署Spar

超、凢脫俗/ 2022年05月20日 02:05/ 0 赞/ 914 阅读

相关 Spark 安装 Standalone模式 (单机与集群)

前言今天我们了解下`Spark`的安装. Spark的安装模式有很多模式, 主要包括 [Spark Standalone][]、[Running Spark on

浅浅的花香味﹌/ 2022年02月26日 11:26/ 0 赞/ 587 阅读

相关 Spark集群安装

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] Spark的版本1.6.0，Scala的版本2.

不念不忘少年蓝@/ 2022年01月13日 23:05/ 0 赞/ 338 阅读

相关 Spark集群模式安装

实现步骤： 1）上传解压spark安装包 2）进入spark安装目录的conf目录 3）配置spark-env.sh文件配置示例： \本机ip地址

旧城等待，/ 2021年11月05日 17:00/ 0 赞/ 369 阅读