hadoop学习笔记之hadoop伪分布集群搭建（二）

古城微笑少年丶 2022-06-01 03:39 265阅读 0赞

本次hadoop伪分布搭建环境：Windows10\_64位+VMware9.0+Centos 6.4（32位）

默认以上环境已经配置好，下面开始进行hadoop伪分布集群安装......

============================================================

内容如下：

一、给主机服务器（Centos 6.4）配置IP地址

二、安装jdk，并配置环境变量

三、安装hadoop

四、ssh免密登录

五、HDFS & MapReduce 运行测试

============================================================

一、为了以后方便，我们先做一些其他配置

（1）将当前用户（我这里为hadoop用户）加入到sudoer里面

首先：使用命令 su 将用户切换成root

接着：修改配置文件，使用命令 vi /etc/sudoers 打开，使用字母i进入编辑模式

然后：在root ALL=（ALL）ALL 后面添加 hadoop ALL=（ALL） ALL

最后：按ESC退出编辑模式，使用命令 " :wq"保存并退出文件

（2）关闭图形用户界面

此时的Centos系统就可以关闭图形用户界面了，这样做是为了省内存，因为真正的服务器都是直接连上去，不需要图形用户界面。

使用命令 init3 就可以关闭图形用户界面，但是该命令只能关闭一次，在下次服务器启动时还是会启动图形用户界面，如果想永久性关闭，需要修改一些系统配置文件

使用命令 sudo vi /etc/inittab

找到如下位置，将5修改为3即可，注意，千万不要修改为6，这样系统会重复启动

![20180118214317660][]

关闭图形用户界面以后，我们可以使用SecureCRT软件在windows系统下登录Linux系统

以下操作都是通过SecureCRT来访问主机了

（3）修改主机名

通过修改系统配置文件， 命令 sudo vi /etc/sysconfig/network

将HOSTNAME=localhost.localdomain 修改为自己对应的名字即可，如我修改为了HOSTNAME=work01

![20180118214731997][]

此时，修改的内容不会立即生效，可以重启服务器或者使用 sudo hostname 名字命令，exit退出，然后回车重新登录即可

![20180118214948626][]

（4）配置主机名和IP地址一一映射

修改完主机名以后，此时我们想通过主机名访问还是不行的，还需要将主机名和IP地址做映射

修改系统配置文件 sudo vi /etc/hosts 添加内容：IP地址 主机名

![20180118215224957][]

此时，我们就可以通过主机名访问主机了

![20180118215333442][]

\----------------------------------------------------------------------------------

1、安装JDK

根据自己的Linux系统选择对应的jdk版本，这里选择jdk1.7 32位

我们需要将jdk安装包上传到服务器上，使用命令 put filename 即可，具体做法是

首先alt+p打开SFTP命令窗口，然后 put filename（文件绝对路径） 即可

![20180118222351055][]

在用户主目录下建立一个新的文件夹(此处为app)，目的是将所有关于hadoop的文件全部放在次文件夹下

mkdir app

解压jdk安装包 tar -zxvf jdk-7u65-linux-i586.tar.gz -C app/

tar: 压缩/解压缩命令

\-z: 指定解压缩编码格式

\-x: 表示此命令是用来解压

\-v: 打印解压进度

\-f: 指定解压的是文件

\-C: 将文件解压到指定位置

解压完后意味着jdk已经可以使用了，那么来验证一下，可以看到一些java常用的命令

![20180118222609849][]

![20180118222640049][]

接下来将java的安装路径添加到环境变量里

sudo vi /etc/profile

定位到文件最后一行命令是shift+g（也就是G） 而定位到文件最前面是gg

在文件末尾添加两行，将java和java/bin目录添加进去。 （查看文件全路径可以先cd到该文件，然后使用命令pwd获得文件全路径）

![20180118222801621][]

添加完后不能立即生效，可以使用source /etc/profile立即生效

![20180118222827111][]

\--------------------------------------------------------------------------

至此，jdk安装就算大功告成啦~

[20180118214317660]: /images/20220601/5486be21666e42ad913ad946088c1a62.png
[20180118214731997]: /images/20220601/260b3f4ef39c480383d24cb49d5bdb2b.png
[20180118214948626]: /images/20220601/9212f96cd07049baaf54c05aeb84ee08.png
[20180118215224957]: /images/20220601/d1af067e26d14898b405363e27cea099.png
[20180118215333442]: /images/20220601/78d24a9cad3e40d88954f654f7f1043a.png
[20180118222351055]: /images/20220601/08c2fabe03ce43b2a8e6b76000b8a675.png
[20180118222609849]: /images/20220601/91ce3b4c6b374be480b6169d55b30c59.png
[20180118222640049]: /images/20220601/630be095fa6d4c8aa393a73ad2f54527.png
[20180118222801621]: /images/20220601/312cdaaa4b024c2ebd62a63ea37bc833.png
[20180118222827111]: /images/20220601/4ffbf01fa83f4ef4bb4a5927f092e612.png