hadoop_安装

﹏ヽ暗。殇╰゛Y 2022-05-25 06:16 217阅读 0赞

以2.6.0为例子介绍安装过程：

下载地址：[http://hadoop.apache.org/releases.html][http_hadoop.apache.org_releases.html]

[http://mirror.bit.edu.cn/apache/hadoop/common/][http_mirror.bit.edu.cn_apache_hadoop_common]

1) 解压安装包

创建目录/opt/hadoop，将包放进去：

![70][]

解压：

tar -zxvf hadoop-2.6.0.tar.gz

2) 修改环境变量

vi /etc/profile

export HADOOP\_HOME=/opt/hadoop/hadoop-2.6.0

export PATH=.:$HADOOP\_HOME/bin::$HADOOP\_HOME/sbin:$PATH

source /etc/profile

验证：hadoop version

![70 1][]

3) 修改hadoop配置文件

①　**core-site.xml**

vi $HADOOP\_HOME/etc/hadoop/core-site.xml

在<configuration>节点中添加如下property：

<name>fs.defaultFS</name>

<value>hdfs://centos5:19000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/opt/hadoop/hadoop\_tmp</value>

</property>

其中centos5为当前机器名，nameNode节点的地址。19000为rpc的端口号，默认为9000

创建目录：cd /opt/hadoop/

mkdir hadoop\_tmp

②　**hdfs-site.xml**

vi $HADOOP\_HOME/etc/hadoop/hdfs-site.xml

在<configuration>节点中添加如下property：

<name>dfs.replication</name>

</property>

<name>dfs.namenode.secondary.http-address</name>

<value>centos5:19001</value>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/opt/hadoop/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/opt/hadoop/dfs/data</value>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

<!--

<name>dfs.permissions</name>

<value>false</value>

</property>

\-->

为了方便后面看到一些操作的问题，dfs.permissions这里不配置，或者先配置为true。

创建目录：cd /opt/hadoop/

mkdir dfs dfs/data dfs/name

注：访问namenode的hdfs使用50070端口，访问datanode的webhdfs使用50075端口。要想不区分端口，直接使用namenode的IP和端口进行所有的webhdfs操作，就需要在所有的datanode上都设置hdfs-site.xml中的dfs.webhdfs.enabled为true。

③　**mapred-site.xml**

注：上面的包中并没有mapred-site.xml文件，只有mapred-site.xml.template文件。拷贝一份即可。

cp mapred-site.xml.template mapred-site.xml

vi $HADOOP\_HOME/etc/hadoop/mapred-site.xml

在<configuration>节点中添加如下property：

**注意：**

mapreduce.jobhistory.webapp.address项对应web管理页面的地址，应填写实际IP地址，否则会根据hosts自动使用内网地址。（使用机器名好像也可以）

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

<value>centos5:20020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>centos5:29888</value>

</property>

<name>mapreduce.map.memory.mb</name>

</property>

<name>mapreduce.map.java.opts</name>

</property>

<name>mapreduce.reduce.memory.mb</name>

</property>

<name>mapreduce.reduce.java.opts</name>

</property>

④　**yarn-site.xml**

vi $HADOOP\_HOME/etc/hadoop/yarn-site.xml

在<configuration>节点中添加如下property：

**注意：**

yarn.resourcemanager.webapp.address项对应web管理页面的地址，应填写实际IP地址，否则会根据hosts自动使用内网地址。（使用机器名也可以，同事在阿里云装环境时出现过一次必须用IP才能用）

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>centos5:18032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>centos5:18030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>centos5:18031</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>centos5:18033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>centos5:18088</value>

</property>

⑤　**slaves**

vi $HADOOP\_HOME/etc/hadoop/slaves

文件内容为：

centos6

centos7

⑥　**masters**

vi $HADOOP\_HOME/etc/hadoop/masters

文件内容为：

centos5

注：当前目录下没有此文件，直接vi修改后生成此文件。

⑦　**hadoop-env.sh**

vi $HADOOP\_HOME/etc/hadoop/hadoop-env.sh

在文件中修改JAVA\_HOME参数

export JAVA\_HOME=/usr/java/jdk1.8.0\_11

⑧　**yarn-env.sh**

vi $HADOOP\_HOME/etc/hadoop/yarn-env.sh

在文件中修改JAVA\_HOME参数

export JAVA\_HOME=/usr/java/jdk1.8.0\_11

注：这里还可以配置内存使用量，如：

JAVA\_HEAP\_MAX=-Xmx1000m

⑨　**同步配置**

scp $HADOOP\_HOME/etc/hadoop/core-site.xml root@centos7:$HADOOP\_HOME/etc/hadoop/

scp $HADOOP\_HOME/etc/hadoop/hdfs-site.xml root@centos7:$HADOOP\_HOME/etc/hadoop/

scp $HADOOP\_HOME/etc/hadoop/mapred-site.xml root@centos7:$HADOOP\_HOME/etc/hadoop/

scp $HADOOP\_HOME/etc/hadoop/yarn-site.xml root@centos7:$HADOOP\_HOME/etc/hadoop/

scp $HADOOP\_HOME/etc/hadoop/slaves root@centos7:$HADOOP\_HOME/etc/hadoop/

scp $HADOOP\_HOME/etc/hadoop/masters root@centos7:$HADOOP\_HOME/etc/hadoop/

scp $HADOOP\_HOME/etc/hadoop/hadoop-env.sh root@centos7:$HADOOP\_HOME/etc/hadoop/

scp $HADOOP\_HOME/etc/hadoop/yarn-env.sh root@centos7:$HADOOP\_HOME/etc/hadoop/

使用此命令将上述配置文件同步到集群各节点

4) 初始化hdfs

①　创建配置文件中指定的各目录：

l core-site.xml的hadoop.tmp.dir目录

cd /opt/hadoop/

mkdir hadoop\_tmp

l hdfs-site.xml的dfs.namenode.name.dir和dfs.datanode.data.dir目录

cd /opt/hadoop/

mkdir dfs dfs/data dfs/name

在另两台机器上执行同样操作。

②　格式化hdfs

在master节点上执行：

hdfs namenode -format

5) 启动hadoop

①　启动hdfs

start-dfs.sh

②　启动yarn

start-yarn.sh

③　启动jobhistory（可选）

mr-jobhistory-daemon.sh start historyserver

也可以一条命令全启动：

start-all.sh

6) 检测运行状态

①　检查进程

jps

master节点应有如下进程：

l ResourceManager

l JobHistoryServer

l NameNode

l SecondaryNameNode

client节点应有如下进程

l DataNode

l NodeManager

②　集群状态监控

l Namenode information

[http://192.168.75.105:50070/][http_192.168.75.105_50070]

l Nodes of the cluster

[http://192.168.75.105:18088][http_192.168.75.105_18088]

l JobHistory

http://192.168.75.105:29888

7) 停止hadoop

stop-all.sh

[http_hadoop.apache.org_releases.html]: http://hadoop.apache.org/releases.html
[http_mirror.bit.edu.cn_apache_hadoop_common]: http://mirror.bit.edu.cn/apache/hadoop/common/
[70]: /images/20220525/d15e598348e94a478724c45298f621f7.png
[70 1]: /images/20220525/f768304177ce4ce0adee067be852e40c.png
[http_192.168.75.105_50070]: http://192.168.75.101:50070/
[http_192.168.75.105_18088]: http://192.168.75.101:18088