Ubuntu安装spark（伪分布式）

你的名字 2022-12-27 07:45 124阅读 0赞

首先确保你的Hadoop环境已安装

下载spark安装包到主机，到这个站点http://archive.apache.org/dist/spark/下载想要的版本，下面安装使用的是spark2.4.0版本，**安装其他版本基本类似，注意点在后面会提到**

# 解压，-C代表解压到那个目录
    sudo tar -zxvf spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/
    cd /usr/lcoal
    # 改目录的名为spark
    sudo mv spark-2.4.0-bin-without-hadoop.tgz spark
    # 设置文件所有者和所有组，我的用户名是zhong
    sudo chown -R zhong:zhong spark
    cd /usr/local/spark/conf
    # 复制环境配置模板
    cp spark-env.sh.template spark-env.sh
    vim spark-env.sh

在`spark-env.sh`文件中写入如下：

# jdk的安装位置
    export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_261
    # hadoop的安装位置
    export HADOOP_HOME=/usr/local/hadoop
    # hadoop的配置文件目录
    export HADOOP_CONF_HOME=/usr/local/hadoop/etc/hadoop
    # 由于是伪分布式，下面两行都是配置本地主机地址，第一个是主节点地址，第二个是本地地址
    export SPARK_MASTER_IP=localhost
    export SPARK_LOCAL_IP=localhost
    export SPARK_MASTER_PORT=7077
    export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)
    # 指定hadoop的运行库，不指定也可以，但启动pyspark会警告
    export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

#### 配置节点位置 ####

cd /usr/local/spark/conf
    cp slaves.template slaves
    vim slaves

在里面写入如下内容，默认就是如下内容，所以只要复制slaves文件就行了。该文件配置完全分布式集群的主机地址，指向其它节点的主机

localhost

#### 默认使用python2的运行环境，修改如下配置换到python3环境 ####

# 第一步
    vim /usr/local/spark/bin/pyspark

在第45行修改python为python3

# WORKS_WITH_IPYTHON=$(python2 -c 'import sys; print(sys.version_info >= (2, 7, 0))')
    WORKS_WITH_IPYTHON=$(python3 -c 'import sys; print(sys.version_info >= (2, 7, 0))')

# 第二步
    vim spark-env.sh

添加如下内容

export SPARK_PYTHON=/usr/bin/python3

# 第三步
    vim ~/.bashrc

底部添加如下内容

export PYSPARK_PYTHON=python3

#### 添加环境变量vim ~/.bashrc ####

# 配置spark
    export SPARK_HOME=/usr/local/spark
    export PATH=$PATH:$SPARK_HOME/bin/:$SPARK_HOME/sbin
    # 如果没有下面这个配置，spark shell启动后会报错
    export TERM=xterm-color

记得source ~/.bashrc

#### 修改同名文件 ####

在`/usr/local/spark/sbin`目录下有两个文件，`start-all.sh`和`stop-all.sh`，这两个文件和Hadoop下的文件同名了，启动时会混乱，所以将它改名

mv start-all.sh spark-start-all.sh
    mv stop-all.sh spark-stop-all.sh

## 安装其他版本(重点) ##

这里只是安装了spark2.4版本，其他版本都是差不多的，只是配置的具体参数不同而已，但有一点不同，在2.4版本中/usr/local/spark/bin/pyspark文件中写的是Python2，但在其他版本中就不一定了，要去大概位置看一下，但他们都是需要使用的是Python3，即使里面写的是Python2。Ubuntu高版本默认安装了Python2和Python3，但直接使用Python就代表的是Python2，所以除了修改里面，你还可以使用其他方法使得系统使用Python时代表Python3，例子如下：

> spark3.0.2默认使用的是Python3，但/usr/local/spark/bin/pyspark脚本文件中写的是Python，而在Ubuntu中Python代表的是Python2，所以要修改使用Python3，可以参考我的另一个博客，[Ubuntu安装多个版本的python解释器][Ubuntu_python]，这样就达到了使用Python时代表的是Python3

除了**默认使用python2的运行环境，修改如下配置换到python3环境**的第一步，其他都要配置

### 启动 ###

首先确保hadoop已启动

然后开启spark服务，命令行下敲如下命令

spark-start-all.sh

使用`jps`命令查看可以看到有`Worker`和`Master`两个进程运行，就代表开启成功，spark支持Scala和Python编程

#### 第一种方式 ####

使用scala的方式运行，可以敲`Ctrl+D`命令退出  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMjc5NDU3_size_16_color_FFFFFF_t_70]

#### 第二种方式 ####

使用Python的方式运行，可以敲`Ctrl+D`命令退出  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMjc5NDU3_size_16_color_FFFFFF_t_70 1]

#### Python操作spark ####

请参考我的另一篇文章[Python操作spark][Python_spark]

[Ubuntu_python]: https://blog.csdn.net/qq_43279457/article/details/113621306
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMjc5NDU3_size_16_color_FFFFFF_t_70]: /images/20221120/501de7bf98ab499693f0d1636920a89d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzMjc5NDU3_size_16_color_FFFFFF_t_70 1]: /images/20221120/10758818868b4727bf46d669787df0e5.png
[Python_spark]: https://blog.csdn.net/qq_43279457/article/details/110848861