linux安装spark安装（详解版-单机/伪分布）

拼搏现实的明天。 2023-09-23 21:31 98阅读 0赞

## spark安装 ##

### 前提条件 ###

至少已经安装好Hadoop

优质：Hadoop+Hbase+Hive

hadoop单机/伪分布：
    https://blog.csdn.net/qq_46138492/article/details/128582599
    
    Hbase单机/伪分布：
    https://blog.csdn.net/qq_46138492/article/details/128583816
    
    Hive单机/伪分布：
    https://blog.csdn.net/qq_46138492/article/details/128590816

### 1.前期准备 ###

#### 1.1 上传文件 ####

*  工具上传
 *  命令：`scp -r spark-2.4.5-bin-hadoop2.7.tgz user@192.168.10.128:/home/user/src`

#### 1.2 解压，建目录，移动，改名，赋权 ####

**解压**： `tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz`

**建目录**：`sudo mkdir /usr/local/spark`

**移动**：`sudo mv spark-2.4.5-bin-hadoop2.7 /usr/local/spark/`

**改名**：

cd /usr/local/spark/
    sudo mv spark-2.4.5-bin-hadoop2.7 spark-2.4.5

**赋权**：`sudo chown -R user:user spark-2.4.5`

### 2、Spark环境安装配置 ###

`sudo vim /etc/profile`

export SPARK_HOME=/usr/local/spark/spark-2.4.5
    export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 
    export MASTER=spark://192.168.10.128:7077

环境变量有效：`source /etc/profile`

#### 3.集群设置 ####

##### 3.1 集群配置 #####

`vim ~/.profile`

export SPARK_WORKER_INSTANCES=3
    export CORES_PER_WORKER=1
    export TOTAL_CORES=$((${CORES_PER_WORKER}*${SPARK_WORKER_INSTANCES}))
    export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/lib/py4j-0.10.7-src.zip
    alias stop_all="stop-slave.sh;stop-master.sh"
    alias start_all="start-master.sh;start-slave.sh -c $CORES_PER_WORKER -m 4G ${MASTER}"
    
    #SPARK_WORKER_INSTANCES表示节点数目

`source ~/.profile`

##### 3.2 使用start\_all启动节点 #####

start_all

##### 3.3 查看jps #####

jps

![在这里插入图片描述][49b5ecfb8f0a4d6784cb914589b27490.png_pic_center]

#### 4、验证是否成功 ####

8080是sparkwebUI的端口号，可以通过spark的配置文件修改

http://192.168.10.128:8080/

![在这里插入图片描述][172dfc5ba9f148bd940db1994d820475.png_pic_center]

## 完成啦！！！！ ##

[49b5ecfb8f0a4d6784cb914589b27490.png_pic_center]: https://img-blog.csdnimg.cn/49b5ecfb8f0a4d6784cb914589b27490.png#pic_center
[172dfc5ba9f148bd940db1994d820475.png_pic_center]: https://img-blog.csdnimg.cn/172dfc5ba9f148bd940db1994d820475.png#pic_center