搭建hadoop完全分布式集群VM+CentOS+hadoop2.7

ゞ浴缸里的玫瑰 2022-06-08 08:54 242阅读 0赞

转载自：http://blog.csdn.net/gamer\_gyt

hadoop伪分布部署参考：[点击打开链接][Link 1]

hadoop单机版部署参考：[点击打开链接][Link 2]

zookeeper,hive,hbase的分布式部署参考：[点击链接][Link 3]

Spark，Sqoop，Mahout的分布式部署参考：[点击链接][Link 4]

hadop高可用部署：[点击连接][Link 5]

# 一：安装VM 12.x #

下载地址：链接：[http://pan.baidu.com/s/1c2KA3gW][http_pan.baidu.com_s_1c2KA3gW]密码：3r67

# 二：安装CentOS6.5 #

这里采用3台机器，其对应的IP和主机分别如下（他们的用户名都是master）

<table>      
 <tbody> 
  <tr> 
   <td>主机名</td> 
   <td>ip</td> 
   <td>对应的角色</td> 
  </tr> 
  <tr> 
   <td>master1</td> 
   <td>192.168.48.130</td> 
   <td>NameNode</td> 
  </tr> 
  <tr> 
   <td>slave1</td> 
   <td>192.168.48.131</td> 
   <td>Datanode1</td> 
  </tr> 
  <tr> 
   <td>slave2</td> 
   <td>192.168.48.132</td> 
   <td>Datanode2</td> 
  </tr> 
 </tbody> 
</table>

这里我们可以采用安装一台虚拟机，然后进行克隆的方法，克隆出五台机器，然后修改对应的ip地址和用户名，VM安装虚拟机有三种网络连接方式，分别是桥接，NAT，仅主机模式，这里采用默认设置，即使用NAT，NAT模式下实用的是Vmnet8

##  修改IP地址： ##

###  1：查看本机ip ###

我的电脑ip地址为：192.168.69.30

Vmnet8的ipv4地址为：192.168.48.1

###  2：确定虚拟机IP地址范围和网关地址，下图红线标示 ###

![Center][]

![Center 1][]

###  3：打开虚拟机终端 ###

输入：sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后的信息如下，需要修改的地方有红线标示出来了：

![Center 2][]

eth0—>eth1

dhcp—>static

HWADDR MAC地址修改为本虚拟机的mac地址，mac地址查看 ip addr，选择eth1那个

![Center 3][]

之后便可以使用ifconfig查看ip了

##  修改主机名和对应IP： ##

###  1：编辑hosts文件 ###

sudo vim /etc/hosts

清空内容，添加 192.168.48.129 master **（这里不要清空hosts文件，具体看评论）**

###  2：便捷network文件 ###

sudo vim /etc/sysconfig/network

修改HOSTNAME为master

重启生效

# 三：安装hadoop集群 #

##  0：每台机器上关闭防火墙和selinux ##

永久关闭防火墙：chkconfig –level 35 iptables off

永久关闭selinux：

vim /etc/selinux/config

找到SELINUX 行修改成为：SELINUX=disabled:

##  1：每台机器上安装java环境（ jdk-7u51-linux-x64.tar） ##

解压到指定目录，这里我选择的是/opt

tar -zxvf jdk-7u51-linux-x64.tar /opt

修改文件夹名字为java

mv /opt/jdk1.7.0\_51 /opt/java

配置环境变量，打开/etc/profile文件，加入java的路径

vim /etc/profile (如果没有权限可以前边加入sudo)

文件前边写上：

export JAVA\_HOME=/opt/java  
export CLASSPATH=.:%JAVA\_HOME%/lib/dt.jar:%JAVA\_HOME%/lib/tools.jar  
export PATH=PATH:JAVA\_HOME/bin

##  2：配置每台机器的主机名 ##

清空每台机器上的/etc/hosts文件内容，添加如下：

192.168.48.130 master1  
192.168.48.131 slave1  
192.168.48.132 slave2

执行完之后source/etc/hosts

同时修改每台机器上的/etc/sysconfig/network 中hostname对应的用户名（此步骤一定要注意，否则容易找不到主机名）

##  3：给master用户增加sudo权限 ##

1）切换到root用户，su 输入密码

2）给sudoers增加写权限：chmod u+w /etc/sudoers

3）编译sudoers文件：vim /etc/sudoers  
在root ALL=(ALL) ALL下方增加 master ALL=(ALL)NOPASSWD:ALL  
4）去掉sudoers文件的写权限：chmod u-w /etc/sudoers

##  4：每台机器都切换到master用户下 ##

su master

##  5：配置SSH免密码登录 ##

进入~/.ssh目录

每台机器执行：ssh-keygen -t rsa，一路回车

生成两个文件，一个私钥，一个公钥，在master1中执行：cp id\_rsa.pub authorized\_keys

###  a：本机无密钥登录 ###

修改authorized\_keys权限：chmod 644 authorized\_keys

此时重启ssh服务：sudo service sshd restart

ssh master1

yes!!!

###  b：master与其他节点无密钥登录 ###

从master中把authorized\_keys分发到各个结点上(会提示输入密码，输入thinkgamer即可)：

scp /home/master/.ssh/authorized\_keys slave1:/home/master/.ssh

scp /home/master/.ssh/authorized\_keys slave2:/home/master/.ssh

然后在各个节点对authorized\_keys执行(一定要执行该步，否则会报错)：chmod 644 authorized\_keys

测试如下（第一次ssh时会提示输入yes/no，输入yes即可）：

![Center 4][]

##  6：解压hadoop到指定目录（我这里使用的是/opt/目录） ##

tar -zxvf hadoop-2.7.0.tar.gz /opt/hadoop-2.7.0

重命名文件：mv /opt/hadoop-2.7.0 /opt/hadoop

##  7：修改配置文件 ##

hadoop-env.sh：

**\[html\]** view plain copy

print ?

1.  export JAVA\_HOME=/opt/java

export JAVA_HOME=/opt/java

core-site.xml：

**\[html\]** view plain copy

print ?

1.  <configuration>
2.  <property>
3.  <name>fs.default.name</name>
4.  <value>hdfs://master1:9000</value>
5.  </property>
6.  <property>
7.  <name>hadoop.tmp.dir</name>
8.  <value>/opt/hadoop/tmp</value>
9.  </property>
10. </configuration>

<configuration>
      <property>
        <name>fs.default.name</name>
        <value>hdfs://master1:9000</value>
      </property>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop/tmp</value>
      </property>
    </configuration>

hdfs-site.xml：

**\[html\]** view plain copy

print ?

1.  <configuration>
2.  <property>
3.  <name>dfs.replication</name>
4.  <value>2</value>
5.  </property>
6.  <property>
7.  <name>dfs.namenode.name.dir</name>
8.  <value>file:/opt/hadoop/dfs/name</value>
9.  </property>
10. <property>
11. <name>dfs.datanode.data.dir</name>
12. <value>file:/opt/hadoop/dfs/data</value>
13. </property>
14. </configuration>

<configuration>
      <property>
        <name>dfs.replication</name>
        <value>2</value>
      </property>
      <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/dfs/name</value>
      </property>
      <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/dfs/data</value>
      </property>
    </configuration>

mapred-site.xml：

**\[html\]** view plain copy

print ?

1.  <configuration>
2.  <property>
3.  <name>mapreduce.framework.name</name>
4.  <value>yarn</value>
5.  </property>
6.  <property>
7.  <name>mapreduce.jobhistory.address</name>
8.  <value>Master:10020</value>
9.  </property>
10. <property>
11. <name>mapreduce.jobhistory.webapp.address</name>
12. <value>Master:19888</value>
13. </property>
14. </configuration>

<configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
      </property>
      <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master:10020</value>
      </property>
      <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master:19888</value>
      </property>
    </configuration>

yarn-site.xml：

**\[html\]** view plain copy

print ?

1.  <configuration>
2.  
3.  <!– Site specific YARN configuration properties –>
4.  <property>
5.  <name>yarn.nodemanager.aux-services</name>
6.  <value>mapreduce\_shuffle</value>
7.  </property>
8.  <property>
9.  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
10. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
11. </property>
12. <property>
13. <name>yarn.resourcemanager.address</name>
14. <value>master1:8032</value>
15. </property>
16. <property>
17. <name>yarn.resourcemanager.scheduler.address</name>
18. <value>master1:8030</value>
19. </property>
20. <property>
21. <name>yarn.resourcemanager.resource-tracker.address</name>
22. <value>master1:8031</value>
23. </property>
24. <property>
25. <name>yarn.resourcemanager.admin.address</name>
26. <value>master1:8033</value>
27. </property>
28. <property>
29. <name>yarn.resourcemanager.webapp.address</name>
30. <value>master1:8088</value>
31. </property>
32. </configuration>

<configuration>
    
    
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
      <property>
        <name>yarn.resourcemanager.address</name>
        <value>master1:8032</value>
      </property>
      <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master1:8030</value>
      </property>
      <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master1:8031</value>
      </property>
      <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master1:8033</value>
      </property>
      <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master1:8088</value>
      </property>
    </configuration>

##  8：编辑slaves文件 ##

清空加入从节点的名字

slave1

slave2

##  9：将hadoop分发到各个节点（因为权限问题，先将该文件夹分发到各个节点的/home/master目录下，再进入各个节点将文件夹移到/opt下） ##

scp -r /opt/hadoop slave1:/home/master/hadoop ,进入该节点执行：sudo mv hadoop /opt/

scp -r /opt/hadoop slave2:/home/master/hadoop ,进入该节点执行：sudo mv hadoop /opt/

##  10：在master节点格式化hdfs ##

bin/hdfs namenode -format

![Center 5][]

看见status 0表示安装成功

# 四：web页面查看 #

1：http://192.168.48.130:8088/

![Center 6][]

2：http://192.168.48.130:50070/

![Center 7][]

# 五：问题记录 #

##  1：linux文件夹权限 ##

eg：

![Center 8][]

第一列共有十位  
第一位，d：表示是一个目录，-：表示一个普通的文件  
第2-4位：rwx：分别表示读，写，执行，这里显示为rwx表示文件所有者对该文件拥有读写执行的权利（补充一点，rwx用数字表示为4,2,1）  
第5-7位：r-x：表示与该文件所有者的同组用户拥有该文件的读和执行的权限  
第8-10位：r-x：表示其他组的用户对该文件拥有读和执行的权利

##  2：linux基本命令 ##

查看用户所属用户组 id hostname / groups hostname

vim命令： 查找：/xxxx

清空： gg dG

参考： http://www.cnblogs.com/laov/p/3421479.html

http://www.aboutyun.com/thread-7781-1-1.html

http://blog.sina.com.cn/s/blog\_821d83720102vkx5.html

http://www.aboutyun.com/thread-10572-1-1.html(HA配置)

[Link 1]: http://blog.csdn.net/gamer_gyt/article/details/46793731
[Link 2]: http://blog.csdn.net/gamer_gyt/article/details/46545303
[Link 3]: http://blog.csdn.net/gamer_gyt/article/details/52032579
[Link 4]: http://blog.csdn.net/gamer_gyt/article/details/52045663
[Link 5]: http://blog.csdn.net/gamer_gyt/article/details/52350528
[http_pan.baidu.com_s_1c2KA3gW]: http://pan.baidu.com/s/1c2KA3gW
[Center]: /images/20220608/826a5577c06347ce8269a7031ee67817.png
[Center 1]: /images/20220608/8df42488bf7941778507116e61e6ae22.png
[Center 2]: /images/20220608/9839d13d5a1d41029814f24e3e7cecf2.png
[Center 3]: /images/20220608/c9fa13c8499244159294f191ad303eb7.png
[Center 4]: /images/20220608/7d11921914c247cdb2e01475c7d4bbae.png
[Center 5]: /images/20220608/adfbfafeb5324359bd5f9852a53e8b18.png
[Center 6]: /images/20220608/080dde3405624102a63e71e046100f27.png
[Center 7]: /images/20220608/5d644e29cdc246a0ab1935517a56f50a.png
[Center 8]: /images/20220608/f87ab53828dd49c3a8808e7a67880bdd.png