spark学习4：spark安装

以你之姓@ 2023-01-22 03:52 13阅读 0赞

# 1.下载spark安装包 #

# 2.配置环境 #

1.cd /bigdata/spark-3.0.1-bin-hadoop3.2/conf/

## 2.4.添加动态库 ##

在hadoop-3.2.2/bin目录下添加hadoop.dll和winutils.exe文件，可以从https://github.com/cdarlint/winutils和https://github.com/steveloughran/winutils获取对应版本的文件。

## 配置spark环境 ##

2.cp spark-env.sh.template spark-env.sh

3.vi spark-env.sh

基本内容：

export JAVA\_HOME=/usr/lib/jvm/java-1.8.0  
export SPARK\_MASTER\_IP=192.168.43.100  
export SPARK\_MASTER\_HOST=192.168.43.100  
export SPARK\_MASTER\_PORT=7077

\#combine your spark and hadoop  
export HADOOP\_CONF\_DIR=/home/hzp/software/hadoop/hadoop-3.2.1/etc/hadoop/

其他可选内容：  
export SCALA\_HOME=/usr/local/scala-2.13.1  
export JAVA\_HOME=/usr/local/jdk1.8.0\_221  
export HADOOP\_HOME=/usr/local/hadoop/hadoop-2.6.5  
export HADOOP\_CONF\_DIR=$HADOOP\_HOME/etc/hadoop  
SPARK\_MASTER\_IP=master  
SPARK\_LOCAL\_DIRS=/usr/local/spark-2.4.4-bin-hadoop2.6  
SPARK\_DRIVER\_MEMORY=1G

##    配置集群节点 ##

4.cp slaves.template slaves

5.vi slaves  
slave1  
slave2

## 配置环境变量 ##

6.vi /etc/profile  
SCALA\_HOME=/usr/local/scala-2.13.1  
PATH==P A T H : PATH:PATH:SCALA\_HOME/bin

SPARK\_HOME=/bigdata/spark-3.0.1-bin-hadoop3.2  
PATH=P A T H : PATH:PATH:SPARK\_HOME/bin

## 复制节点配置 ##

7.复制spark到从节点，更改从节点环境变量/etc/profile

# spark和hadoop的 搭载 #

配置spark的env 环境

1. cd spark-3.0.1/conf  找到spark-env.sh 文件

2.在配置文件中 添加

export HADOOP\_CONF\_DIR=/home/hzp/software/hadoop/hadoop-3.2.1/etc/hadoop/

彩色这部分 是变化的，填写hadoop 的根目录

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h6cDY2Ng_size_16_color_FFFFFF_t_70]: /images/20221020/d508e8f10a2d4a52b31fe865b914e518.png