hadoop2集群安装和测试之环境配置

柔情只为你懂 2022-08-08 20:30 154阅读 0赞

通过配置hadoop2集群，一个namenode，多个datanode节点，并通过一个demo对Hadoop2尝试，这里不牵扯理论知识，想了解理论知识的，可以去百度。使用hadoop版本2.6.0，操作系统centos。

**一、设备环境配置**  
准备4台机器，1台namdenode,3台datanode  
192.168.1.90    study-90    namenode  
192.168.1.91    study-91    datanode  
192.168.1.92    study-92    datanode  
192.168.1.93    study-93    datanode

**1、设置静态IP**  
vi /etc/sysconfig/network-scripts/ifcfg-eth0   
DEVICE=eth0  
HWADDR=00:0C:29:2D:FF:81  
TYPE=Ethernet  
UUID=a52506a7-5232-4a75-b6b6-1a0f1a3c9124  
ONBOOT=yes  
NM\_CONTROLLED=yes  
BOOTPROTO=static  
IPADDR=192.168.1.90  
NETMASK=255.255.255.0  
GATEWAY=192.168.1.1  
vi /etc/resolv.conf   
nameserver 114.114.114.114  
nameserver 202.106.0.20  
重启网卡：service network restart  
**2、设置主机名称**  
vi  /etc/sysconfig/network   
NETWORKING=yes  
HOSTNAME=study-90  
vi /etc/hosts \#增加  
192.168.1.90 study-90  
192.168.1.91 study-91  
192.168.1.92 study-92  
192.168.1.93 study-93  
重启机器  
**3、关闭防火墙和SELinux**  
1)临时关闭  
关闭防火墙  
service iptables stop  
关闭SELinux  
setenforce 0  
2)永久关闭  
关闭防火墙  
chkconfig iptables off  
关闭SELinux  
vi /etc/selinux/config  
将SELINUX=enforcing改为SELINUX=disabled  
重启机器即可  
**4、创建用户**  
创建hadoop用户  
adduser hadoop  
passwd hadoop 设置用户密码  
**5.配置SSH免密码**

在study-90机器上执行:  
ssh-keygen -t dsa -P '' -f ~/.ssh/id\_dsa     \#一直回车即可. 并在其他机器hadoop用户都执行  
cd /home/hadoop/.ssh目录下多出两个文件  
私钥文件：id\_raa  
公钥文件：id\_rsa.pub  
将id\_rsa.pub内容放到authorized\_keys  
cat ~/.ssh/id\_dsa.pub >> ~/.ssh/authorized\_keys  
修改权限644  
chmod 644 ~/.ssh/authorized\_keys  
并将authorized\_keys复制到其他所有机器的/home/hadoop/.ssh目录下，注意权限都为644  
scp authorized\_keys hadoop@study-91:/home/hadoop/.ssh/authorized\_keys  
看看namenode机器是否可以无需密码登录  
ssh study-91

**6.时间同步**

在所有机器添加时间同步任务

0  \*  \*  \*  \*  /usr/sbin/ntpdate cn.pool.ntp.org

前提已经安装了ntpdate