【Hadoop／Spark】Hadoop、Spark安装详解

浅浅的花香味﹌ 2022-06-06 00:07 309阅读 0赞

## 前言 ##

之前有安装过Hadoop，最近想学学spark，因为spark需要和Hadoop版本统一，索性就卸了Hadoop重新装，折腾了几个小时终于都弄好了，现在把安装步骤整理出来。

## 系统／环境 ##

Mac os

已经安装的软件：python3.6、jdk1.8.0\_121

## ssh设置 ##

1.开启Mac系统的远程登陆

系统偏好设置——共享——远程，如下图设置：

![Center][]

2.在terminal中输入下面语句，然后一直回车。当执行完这条指令之后你可以在前往到~/.ssh目录下发现id\_rsa、id\_rsa.pub两个文件

ssh-keyagent -t

当出现这两个文件之后，再在终端执行如下代码（该代码用于ssh免登录设置）:

cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys

3.验证ssh

在terminal中输入

ssh localhost

出现下面提示说明成功

![Center 1][]

## 安装Hadoop ##

我是通过下载安装的，也可以用brew install安装，在官网下载安装包后解压，之后将文件夹移到相应路径，我移到了/usr/local/Cellar/hadoop路径

进入/hadoop/etc/hadoop路径，执行一下操作：

**hadoop-env.sh**  
加入配置信息：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_111.jdk/Contents/Home

注意按照你自己的jdk版本更改。

**core-site.xml**

<configuration>
        
        
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://0.0.0.0:9000</value>
        </property>
        
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/Library/hadoop-2.7.3/temp</value>
        </property>
    
    </configuration>

**hadfs-site.xml**

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    　　 <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/Library/hadoop-2.7.3/tmp/hdfs/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/Library/hadoop-2.7.3/tmp/hdfs/data</value>
        </property>
        <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>dfs.http.address</name>
            <value>0.0.0.0:50070</value>
        </property>
    </configuration>

**mapred-site.xml**

<property>  
            <name>mapreduce.framework.name</name>  
            <value>yarn</value>  
        </property>  
        <property>  
            <name>mapreduce.admin.user.env</name>  
            <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>  
        </property>  
        <property>  
            <name>yarn.app.mapreduce.am.env</name>  
            <value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>  
    </property>

**yarn-site.xml**

<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
    </property>

**配置Hadoop环境**

sudo vim /etc/profile

添加：

export HADOOP_HOME=/usr/local/Cellar/hadoop  
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存退出，执行：

source /etc/profile

**运行Hadoop**

//进入hadoop安装目录
    cd $HADOOP_HOME
    //初始化namenode
    hdfs namenode -format
    //启动hdfs
    sbin/start-dfs.sh 
    //启动yarn
    sbin/start-yarn.sh

如果都执行成功，说明Hadoop已经安装好了

## 安装Scala ##

我是通过brew直接安装的，一步搞定

brew install scala

配置环境：

sudo vim /etc/profile

添加：

export SCALA_HOME=/usr/local/Cellar/scala/2.12.2
    export PATH=$PATH:$SCALA_HOME/bin

注意Scala版本，改一下

## 安装spark ##

终于到这一步了，在官网上下载之后解压，移动，我移动的路径为：/usr/local/spark  
配置环境：

sudo vim /etc/profile

添加：

export SPARK_HOME=/usr/local/spark
    export PATH=$PATH:$SPARK_HOME/bin

进入conf 文件夹下将 spark-env.sh.template 改名为 spark-env.sh并修改

![Center 2][]  
之后修改slaves.template,

![Center 3][]  
之后进入sbin路径，执行：

./start-all.sh

![Center 4][]  
再执行：

![Center 5][]

至此，spark已经安装成功了，可以通过查看 [http://localhost:8080/][http_localhost_8080]  
![Center 6][]

[Center]: /images/20220606/bfa06c591ca74b46a931ba5990d458ac.png
[Center 1]: /images/20220606/6dac32919bf84edfacac06056b9b6650.png
[Center 2]: /images/20220606/81f18d0d8f8b42fc9efcec511d2c49f7.png
[Center 3]: /images/20220606/19400ea4914548b6bf5c4b5d826ccf86.png
[Center 4]: /images/20220606/e13755d37ea1406e9bc84bc1a287dc06.png
[Center 5]: /images/20220606/21121217657b49e9b85cba2c545a4e1e.png
[http_localhost_8080]: http://localhost:8080/
[Center 6]: /images/20220606/3e0c62b18cb542e3a88dc5cb341b7d5d.png