CentOS 7.6 安装 Spark 1.6.1

秒速五厘米 2023-05-29 05:22 88阅读 0赞

> 先参考文章安装好 hadoop，[CentOS 7.6 安装 Hadoop2.6.0][CentOS 7.6 _ Hadoop2.6.0]

#### 一、安装环境 ####

CentOS 7.6
    Hadoop 2.6.0
    jdk 1.7.0_75
    Scala 2.10.7
    Spark 1.6.1

#### 二、下载配置 Scala ####

##### 2.1 下载 Scala #####

Scala 所有版本[下载网址][Link 1]：https://www.scala-lang.org/download/all.html  
  本次实验下载版本为 **Scala 2.10.7** ，文件下载在页面最底部

mkdir /home/scala
    cd /home/scala
    wget https://downloads.lightbend.com/scala/2.10.7/scala-2.10.7.tgz
    tar -zxvf scala-2.10.7.tgz

##### 2.2 配置 Scala 路径 #####

vi ~/.bash_profile

# 添加以下内容
    export  SCALA_HOME=/home/scala/scala-2.10.7
    export  PATH=$PATH:$SCALA_HOME/bin
    export  PATH=$PATH:$SCALA_HOME/lib

source ~/.bash_profile

##### 2.3 测试 Scala #####

scala -version

![在这里插入图片描述][20191104192724176.png]

#### 三、下载配置 Spark ####

##### 3.1 下载 Spark #####

Spark 所有版本[下载网址][Link 2]：https://archive.apache.org/dist/spark/  
  本次实验下载版本为 **spark-1.6.1-bin-hadoop2.6.tgz**

mkdir /home/spark
    cd /home/spark
    wget https://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz
    tar -zvxf spark-1.6.1-bin-hadoop2.6.tgz
    mv spark-1.6.1-bin-hadoop2.6.tgz spark-1.6

##### 3.2 配置 Spark 相关路径 #####

# 修改配置文件
    vi ~/.bash_profile

# 添加以下内容
    export  SPARK_HOME=/home/spark/spark-1.6
    export  PATH=$PATH:$SPARK_HOME/bin

# 更新配置
    source	~/.bash_profile

##### 3.3 修改 Spark 配置文件 #####

cd $SPARK_HOME
    cd conf/
    mv slaves.template slaves
    vi slaves

# 修改默认的 localhost 为数据节点名称
    Datanode1

mv spark-env.sh.template spark-env.sh
    vi	spark-env.sh

# 添加以下内容
    export  JAVA_HOME=/home/jdk/jdk1.7.0_75
    export  SCALA_HOME=/home/scala/scala-2.10.7
    # Namenode 的 ip
    export  SPARK_MASTER_IP=192.168.164.xx1
    export  SPARK_WORKER_MEMORY=2g
    export  HADOOP_CONF_DIR=/home/hadoop/hadoop-2.6.0/etc/hadoop

#### 四、复制文件到Datanode节点 ####

scp -r /home/spark/spark-1.6 root@Datanode1:/home/spark/
    scp -r /home/scala/scala-2.11.8 root@Datanode1:/home/scala/
    scp ~/.bash_profile root@Datanode1:~/.bash_profile

#### 五、启动 Spark ####

/home/spark/spark-1.6/sbin/start-all.sh

![spark启动截图][spark]

#### 六、测试 Spark ####

运行 Spark 自带的 WordCount 程序进行测试

##### 6.1 创建测试文件 #####

vi test.txt
    # 添加以下内容
    hello summer hi summer try happy hi summer
    
    # 将测试文件复制到 hadoop 文件系统下
    hadoop fs -put test.txt /test.txt
    hadoop fs -ls /test.txt
    hadoop fs -cat /test.txt

![test文件截图][test]

##### 6.2 运行程序 #####

/home/spark/spark-1.6/bin/run-example org.apache.spark.examples.JavaWordCount hdfs://Namenode:9000/test.txt

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NTY0NTU1_size_16_color_FFFFFF_t_70]

[CentOS 7.6 _ Hadoop2.6.0]: https://blog.csdn.net/qq_39564555/article/details/102890703
[Link 1]: https://www.scala-lang.org/download/all.html
[20191104192724176.png]: https://img-blog.csdnimg.cn/20191104192724176.png
[Link 2]: https://archive.apache.org/dist/spark/
[spark]: https://img-blog.csdnimg.cn/2019110419331185.png
[test]: https://img-blog.csdnimg.cn/20191104193834426.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NTY0NTU1_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191104194219361.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NTY0NTU1,size_16,color_FFFFFF,t_70