hadoop 部署

忘是亡心i 2022-08-06 08:26 117阅读 0赞

## 基础组件 ##

准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不直接使用Jre）。可以使用yum install rsync来安装rsync。一般来说ssh是默认安装到系统中的。

## 集群配置 ##

一般NameNode会部署到一台单独的服务器上而不与DataNode共同同一机器。另外Map/Reduce服务也需要确立JobTracker和TaskTracker的角色，一般JobTracker与NameNode共用一台机器作为master，而TaskTracker与DataNode同属于slave。

### 具体配置 ###

1.环境配置

在$HADOOP\_HOME/conf/hadoop-env.sh中定义了Hadoop启动时需要的环境变量设置，其中我们至少需要配置JAVA\_HOME（Jdk的路径）变量；另外我们一般还需要更改HADOOP\_LOG\_DIR（Hadoop的日志路径）这个变量，默认的设置是“export HADOOP\_LOG\_DIR=$\{HADOOP\_HOME\}/logs”，一般需要将其配置到一个磁盘空间比较大的目录下。

2.Hadoop核心程序配置

Hadoop 包括一组默认配置文件（$HADOOP\_HOME/src目录下的core/core-default.xml, hdfs/hdfs-default.xml 和mapred/mapred-default.xml）。

自定义配置，对默认配置文件的值进行覆盖

(1)$HADOOP\_HOME/conf/core-site.xml是Hadoop的核心配置文件，对应并覆盖core-default.xml中的配置项。

(2)$HADOOP\_HOME/conf/hdfs-site.xml是HDFS的配置文件，对应并覆盖hdfs-default.xml中的配置项。

(3)$HADOOP\_HOME/conf/mapred-site.xml是Map/Reduce的配置文件，对应并覆盖mapred-default.xml中的配置项。

Mapred-site.xml代码

</pre><pre name="code" class="html">    <configuration>  
                <property>  
                          
                        <name>mapred.job.tracker</name>  
                        <value>192.168.1.111:9001</value>  
                </property>  
                <property>  
                          
                        <name>mapred.system.dir</name>  
                        <value>/system/mapred.system.dir</value>  
                </property>  
                <property>  
                          
                        <name>mapred.local.dir</name>  
                        <value>/opt/hadoop/data/mapred.local.dir</value>  
                </property>  
        </configuration>

3.主从配置

在$HADOOP\_HOME/conf目录中存在masters和slaves这两个文件，用来做Hadoop的主从配置。在主从配置里我们一般将NameNode和JobTracker列为主机，其它的共为从机。

masters和slaves文件内容就是主机和从机的IP列表。

4.其他配置

在$HADOOP\_HOME/conf目录下还包括其它的一些配置文件，但那些都不是必须设置的。

值得注意的是Hadoop集群的所有机器的配置应该保持一致，一般我们在配置完master后，使用scp将配置文件同步到集群的其它服务器上。

## 启动 ##

集群的启动是从NameNode开始的，于是DataNode的运行需要NameNode的远程调用，Hadoop使用ssh命令远程运行DataNode节点，这就是为什么Hadoop需要ssh的支持。

### 配置SSH使用无密码公钥认证的方式启动DataNode节点 ###

在NameNode上需要生成一个密钥对，即一个私钥和一个公钥。将公钥拷贝到各个DataNode上，如此一来，当NameNode向DataNode发起ssh连接的时候，DataNode上就会生成一个随机数并用NameNode的公钥对这个随机数进行加密，并且发送给NameNode，NameNode收到这个加密的数以后用私钥进行解密，并将解密后的数返回DataNode，DataNode确认解密的数无误后就允许NameNode进行连接了。这就完成了一次公钥认证过程。

id\_rsa.pub的内容复制到每个机器（也包括本机）的~/.ssh/authorized\_keys文件中。如果authorized\_keys不存在，则使用touch ~/.ssh/authorized\_keys生成一个；如果该文件已经存在，则追加内容进去。

cat ~/.ssh/id\_rsa.pub >> ~/.ssh/authorized\_keys

ssh服务对文件的权限有着非常严格的限制（authorized\_keys只能拥有指定用户的写权限）于是需要进行如下处理：

chmod 644 ~/.ssh/authorized\_keys

经过以上步骤，我们的无密码访问就配置好了，可以通过如下命令进行验证：

ssh  ip

### 启动Hadoop集群: ###

cd $HADOOP\_HOME/bin

\#启动服务之前，格式化命名空间  
./hadoop namenode -format

\#启动dfs和map/reduce服务

./start-all.sh

### 验证是否启动成功 ###

$HADOOP\_HOME/bin/hadoop dfs -ls

如果没有错误提示或者出现文件列表，Hadoop成功启动了。

通过访问http://NameNodeIP:50070来查看hdfs的状态，访问http://NameNode:50030来查看map/reduce的状态。  
如果出现错误，或Hadoop集群未启动，可以查看$HADOOP\_HOME/logs/下的日志文件。

发表评论取消回复

表情：

评论列表（有 0 条评论，117人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop部署本地模式

本地模式，即运行在单台机器上。没有分布式的思想，使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试，确保程序的正确性。由于在本地模式下测试和调

我不是女神ヾ/ 2023年10月10日 21:46/ 0 赞/ 11 阅读

相关 Hadoop分布式部署

好久没有部署集群了，需要测试性能，本次部署记录如下： HBase-0,94.5+Hadoop-1.0.4，已经安装好了java，3台机器，1台namenode/ma

骑猪看日落/ 2022年08月09日 09:47/ 0 赞/ 168 阅读

相关 hadoop 部署

基础组件准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6（因为Hadoop需要使用到Jdk中的编译工具，所以一般不

忘是亡心i/ 2022年08月06日 08:26/ 0 赞/ 118 阅读

相关 hadoop部署参考

一、概要由于工作需要，最近一段时间开始接触学习hadoop相关的东西，目前公司的实时任务和离线任务都跑在一个hadoop集群，离线任务的特点就是每天定时跑，任务跑完了资

灰太狼/ 2022年06月15日 00:58/ 0 赞/ 128 阅读

相关 hadoop部署常见问题

1.实现本机(192.168.25.134)无密码登录 mkdir .ssh //产生公私秘钥 ssh-keygen -t rsa -P “” //将公钥追加到”a

朱雀/ 2022年06月11日 07:29/ 0 赞/ 201 阅读

相关 Hadoop单机部署（转）

转载，来源于https://www.cnblogs.com/ee900222/p/hadoop\_1.html 1. Hadoop介绍 Hadoop是一个能够对海量

谁借莪１个温暖的怀抱￠/ 2022年06月02日 00:46/ 0 赞/ 278 阅读

相关 Hadoop搭建部署

> GitChat 作者：鸣宇淳 > 原文：[ 史上最详细的Hadoop环境搭建][Hadoop] > 关注公众号：GitChat 技术杂谈，一本正经的讲技术

深碍√TFBOYSˉ_/ 2022年05月26日 06:29/ 0 赞/ 174 阅读

相关 Hadoop——HDFS HA部署

本节目标：掌握HDFS HA的部署本节参考[官方文档][Link 1]进行部署。所需软件：JDK1.8、Hadoop2.7.6、zookeeper3.4.11 节

ゝ一世哀愁。/ 2022年05月26日 01:12/ 0 赞/ 249 阅读

相关（转载）Hadoop配置部署

Hadoop配置部署每个节点上的Hadoop配置基本相同，在Master节点操作，然后完成复制到其他所有的从节点。下面所有的操作都使用waibao用户，切换wai

深藏阁楼爱情的钟/ 2022年04月24日 12:28/ 0 赞/ 211 阅读

相关 Hadoop单机模式部署

Hadoop的安装有三种运行模式： 1. 单机模式（Local (Standalone) Mode）：Hadoop的默认模式，0配置。Hadoop运行在一个Java进程中，

冷不防/ 2021年09月25日 16:00/ 0 赞/ 388 阅读