利用vmware和linux模拟安装hadoop集群

秒速五厘米 2023-09-24 07:27 36阅读 0赞

用到的工具和版本有vmware，centos 6，jdk1.8.0\_201， hadoop-2.6.1

在vmware上安装三个linux(centos 6) 操作系统

对三个虚拟机实现ssh免密码登录

2.1 修改三个机器名称

2.2 修改/etc/hosts文件，使三台机器可以通过名称ping通

2.3 给机器生成密钥文件

2.4 在master机器上生成authorized\_keys文件

2.6 将authorized\_keys文件复制到其他机器上去

2.7 测试使用ssh进行无密登录

安装jdk

3.1 解压安装jdk

3.2 修改环境变量

3.3 测试java

3.4 在slave中克隆相关的java文件以及环境变量的修改

安装hadoop

4.1 官网下载hadoop

4.2 解压安装hadoop

4.3 新建目录

4.4 修改/etc/hadoop中的一系列配置文件

4.5 在slave中克隆hadoop以及相关的配置文件

启动hadoop

5.1 在namenode上执行初始化

5.2 在namenode上执行启动命令

测试hadoop

在vmware的主页找到如下图片

![Image 1][]

image.png

，点击，一路下一步，看到

![Image 1][]

image.png

，选择你的linux系统镜像的所在位置，下一步，直到输入用户名，密码等等

![Image 1][]

image.png

，完成等待linux操作系统的安装。重复上述操作建立三个同样的虚拟机

相关操作都是在root用户权限下进行

①在终端输入hostname查看机器的名称 ，如下

\[root@master Desktop\]\# hostname

master

hostname \[新名字\] 是将机器修改成你想要的名字，这里我改成master

另外两台机器对应的改成slave1，和slave2

②查看对应机器的ip地址，使用ifconfig指令

![Image 1][]

image.png

③在/etc/hosts 中添加下列代码：

指令为vim /etc/hosts(在vim中，按i为进入输入模式，输入结束后，按esc,然后输入:wq，保存并退出)

![Image 1][]

image.png

每台机器的ip和它对应的hostname

此时，可以测试一下三台机器是否可以互相ping通(两台互相ping的机器要处于开机状态)

代码为(展示为在master上ping slave1的机器)

ping -c 3 slave1

参数-c是指定次数，这里为三次。

如果一切正常，应该出现下图所示画面:

![Image 1][]

image.png

④给机器生成免密文件，因为hadoop集群需要频繁的登录其他两台机器，所以最好不要频繁的输入密码。此处是在master上进行，其他两台机器照样。

ssh-keygen -t rsa -P ''

此时，机器会询问你在何处保存密钥，直接敲回车即可

在 /root/.ssh/目录下应该有如下两个文件

![Image 1][]

image.png

⑤接下来创建一个新的文件夹叫，authorized\_keys，将刚才三台机器上的密钥复制到这个文件夹中，并将authorized\_keys拷贝到其他两台机器上.

在/root/.ssh/目录下创建authorized\_keys

touch /root/.ssh/authorized\_keys

我的master 上id\_rsa.pub内容为

!\[master上id\_rsa.pub中的内容(https://upload-images.jianshu.io/upload\_images/7230999-a9c1016d4df89ab9.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240),将这段内容复制粘贴到authorized\_keys中，换行，粘贴同样的slave1机器中的id\_rsa.pub内容，然后slave2中的内容同样粘贴进来。保存退出。

![Image 1][]

authorized\_keys中的内容

⑥复制authorized\_keys到其他两台机器的对应目录中，然后在任意一台机器上测试是否可以ssh其他两台机器，注意登录成功后，要在终端输入exit,才退回原来的主机中。以master为例，注意其中的hostname不一样

![Image 1][]

ssh登录展示

3.1下载解压安装JDK：

在官网下载对应的JDKhttp://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

![Image 1][]

下载JDK

将压缩包拖曳到vmware对应的linux中，如果拖曳不成功，VMware上

![Image 1][]

vmware tools