hadoop集群环境搭建(1)--单NameNode

妖狐艹你老母 2022-05-31 01:06 238阅读 0赞

# 环境 #

操作系统：Centos 6.4

jdk: 1.7.79

hadoop: 2.6.4

三台主机：mini01(namenode) +mini02(datanode) +mini03(datanode)

# 部署 #

### 一、解压hadoop-2.6.4.tar.gz ###

tar -zxvf hadoop-2.6.4.tar.gz

### 二、配置文件修改 ###

修改5个文件：hadoop-env.sh、core-site.xml、hdfs.site.xml、mapred-site.xml、yarn-site.xml

1）打开etc/hadoop/hadoop-env.sh，配置jdk路径

export JAVA_HOME=/usr/local/jdk1.7.0_79/

2）打开etc/hadoop/core-site.xml，配置文件系统以及hadoop数据目录

<configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mini01:9000</value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/home/hadoop/hdpdata</value>
    </property>
    </configuration>

3）打开etc/hadoop/hdfs.site.xml，配置副本个数（文件在hadoop中保存多少分）

<configuration>
    <property>
    <name>dfs.replication</name>
    <value>2</value>
    </property>
    </configuration>

4）打开etc/hadoop/mapred-site.xml，配置资源调度框架类型，此处使用yarn

<configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>

5) 打开etc/hadoop/yarn-site.xml,配置resource manager所在节点

<configuration>
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>mini01</value>
    </property>
    
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    </configuration>

6）将以上文件全部拷贝到其他两台机器，保证三台机器(mini01,mini02,mini03)配置一致

### 三、hadoop环境变量配置 ###

1）vim /etc/profile  在文末加入

export HADOOP_HOME=/home/app/hadoop-2.6.4
    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2）source /etc/profile

注：在三台机器上都执行以上操作

### 四、hadoop格式化 ###

hadoop namenode -format

验证：此时看到/home/hadoop/hdpdata目录则为格式化成功

### 五、启动集群 ###

1）启动namenode

hadoop-daemon.sh start namenode