centos6下安装hadoop集群

不念不忘少年蓝@ 2022-05-08 03:34 279阅读 0赞

安装集群环境：  
克隆虚拟机后：  
1.恢复网卡：  
vi /etc/udev/rules.d/70-persistent-net.rules  
删除etho，将eth1改为eth0

2.修改ip：
    			vi /etc/sysconfig/network-scripts/ifcfg-eth0
    			删除：HWADDR=00:0C....
    			  UUID:..
    			  
    			修改：onboot=yes
    			  BOOTPROTO=static
    		
    			添加：IPADDR=
    			  GATEWAY=(网管)
    			  NETMASK=(子网掩码)
    			  DNS1=网管
    		3.修改主机名：
    			vi /etc/sysconfig/network
    			修改:HOSTNAME=
    			
    			
    		4.重启；
    			reboot
    		
    		5.方便pc段ping 给虚拟机添加别名
    			c:windows/system32/drivers/etc/hosts

安装jdk：  
1.解压：  
rpm -ivh jdk-8u131-linux-x64.rpm  
2.查看  
Java -version  
安装hadoop：  
1.解压：  
tar -zxvf hadoop-2.8.5.tar.gz -C /usr/apps/hadoop/  
2.修改配置文件

hadoop的配置文件在：/root/apps/hadoop安装目录/etc/hadoviewop/
    		
    		核心配置参数：
    			1.指定hadoop的默认文件系统为：hdfs
    			2.指定hdfs的namenode节点为那台机器
    			3.指定namenode软件存储元数据的本地目录
    			4.指定datanode软件存放文件块的本地目录

vi /etc/profile

export HADOOP\_HOME=/usr/hadoop  
export PATH= P A T H : PATH: PATH:HADOOP\_HOME/bin  
export PATH= P A T H : PATH: PATH:HADOOP\_HOME/sbin  
export HADOOP\_COMMON\_LIB\_NATIVE\_DIR= H A D O O P H O M E / l i b / n a t i v e e x p o r t H A D O O P O P T S = " − D j a v a . l i b r a r y . p a t h = HADOOP\_HOME/lib/native export HADOOP\_OPTS="-Djava.library.path= HADOOPHOME/lib/nativeexportHADOOPOPTS="−Djava.library.path=HADOOP\_HOME/lib:$HADOOP\_COMMON\_LIB\_NATIVE\_DIR"  
3.重启服务  
source /etc/profile  
4.查看是否成功  
echo $HADOOP\_HOME  
5.修改hadoop-env.sh中的Java\_Home变量为java的真实目录

![在这里插入图片描述][70]

![在这里插入图片描述][70 1]

![在这里插入图片描述][70 2]

6.配置Hadoop（/usr/hadoop/hadoop-2.8.5/etc/hadoop）

[a.vi][] core-site.xml

![在这里插入图片描述][70 3]

![在这里插入图片描述][70 4]

b.hdfs-site.xml

![在这里插入图片描述][70 5]

![在这里插入图片描述][70 6]

7.格式化分布式硬盘

![在这里插入图片描述][70 7]

![在这里插入图片描述][70 8]

8.启动

![在这里插入图片描述][70 9]

[70]: /images/20220508/84b812914c8b49b28f2c1ac1b6210785.png
[70 1]: /images/20220508/8a599affb85b43c6a3161e083551e718.png
[70 2]: /images/20220508/c2bcf6946ad948f8a11fcfe5b67f1c7f.png
[a.vi]: http://a.vi
[70 3]: /images/20220508/0ff9a4cf33da40e496e7e16bdde71f0e.png
[70 4]: /images/20220508/d352e6c54fa3431fa4d8e4ad31685ce5.png
[70 5]: /images/20220508/bd75981c653d4a45ab91ed435bc3bd02.png
[70 6]: /images/20220508/9014bfbefe5c4d7fbe268174e242e311.png
[70 7]: /images/20220508/0e4dd583327a4676b90ca33e1f33f8f0.png
[70 8]: /images/20220508/3053cb3cf23740dbaaa897191669dbeb.png
[70 9]: /images/20220508/67fa45a2315a4cfe8d583f65962680b7.png