CenOS7下hadoop2.7.3集群搭建

Dear 丶 2022-05-16 03:12 256阅读 0赞

**CentOS7下搭建hadoop2.7.3完全分布式**

**这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下：**

**CentOS-master   nameNode   192.168.11.128**

**CentOS-node1   dataNode    192.168.11.131**

**CentOS-node2   dataNode    192.168..11.132**

## 一、集群搭建 ##

1.首先创建好一个CentOS虚拟机，将它作为主节点我这里起名为CentOS-master，起什么都行，不固定要求

![70][]

2.VMware中打开虚拟机，输入java -version，检查是否有JDK环境，不要用系统自带的openJDK版本，要自己安装的版本

![70 1][]

3.输入 systemctl status firewalld.service ，若如图，防火墙处于running状态，则执行第4和第5步，否则直接进入第6步

![70 2][]

4.输入 systemctl stop firewalld.service ，关闭防火墙

![70 3][]

5.输入 systemctl disable firewalld.service ，禁用防火墙

![70 4][]

6.输入 mkdir /usr/local/hadoop 创建一个hadoop的文件夹

![70 5][]

7.将hadoop的tar包放到刚创建好的目录

![70 6][]

8.进入hadoop目录，输入 tar -zxvf hadoop-2.7.3.tar.gz 解压tar包

![70 7][]

9.输入 vi /etc/profile ，配置环境变量

![70 8][]

10.加入如下内容，保存并退出

HADOOP\_HOME=/usr/local/hadoop/hadoop-2.7.3/

PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin

![70 9][]

11.输入 . /etc/profile ，使环境变量生效

![70 10][]

12.任意目录输入 hado ，然后按Tab，如果自动补全为hadoop，则说明环境变量配的没问题，否则检查环境变量哪出错了

![70 11][]

13.创建3个之后要用到的文件夹，分别如下：

mkdir /usr/local/hadoop/tmp

![70 12][]

mkdir -p /usr/local/hadoop/hdfs/name

![70 13][]

mkdir /usr/local/hadoop/hdfs/data

![70 14][]

14.进入hadoop解压后的 /etc/hadoop 目录，里面存放的是hadoop的配置文件，接下来要修改这里面一些配置文件

![70 15][]

15.有2个.sh文件，需要指定一下JAVA的目录，首先输入 vi hadoop-env.sh 修改配置文件

![70 16][]

16.将原有的JAVA\_HOME注释掉，根据自己的JDK安装位置，精确配置JAVA\_HOME如下，保存并退出

export JAVA\_HOME=/usr/local/java/jdk1.8.0\_102/

![70 17][]

17.输入 vi yarn-env.sh 修改配置文件

![70 18][]

18.加入如下内容，指定JAVA\_HOME，保存并退出

export JAVA\_HOME=/usr/local/java/jdk1.8.0\_102

![70 19][]

19.输入 vi core-site.xml 修改配置文件

![70 20][]

20.在configuration标签中，添加如下内容，保存并退出，注意这里配置的hdfs:master:9000是不能在浏览器访问的

<table style="width:500px;"> 
 <tbody> 
 <tr> 
 <td> &nbsp; &nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt; fs.default.name &lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;hdfs://master:9000&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;description&gt;指定HDFS的默认名称&lt;/description&gt; &nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp;&nbsp;&nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;fs.defaultFS&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;hdfs://master:9000&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;description&gt;HDFS的URI&lt;/description&gt; &nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp;&nbsp;&nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;hadoop.tmp.dir&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;/usr/local/hadoop/tmp&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;description&gt;节点上本地的hadoop临时文件夹&lt;/description&gt; &nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp; &nbsp;&lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;fs.trash.interval&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;60&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;description&gt;ljx upgrade&lt;/description&gt; &nbsp;&nbsp; &lt;/property&gt;&nbsp;&nbsp;&nbsp; </td> 
 </tr> 
 </tbody> 
</table>

![70 21][]

21.输入 vi hdfs-site.xml 修改配置文件

![70 22][]

22.在configuration标签中，添加如下内容，保存并退出

<table style="width:500px;"> 
 <tbody> 
 <tr> 
 <td> &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;dfs.namenode.name.dir&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;file:/usr/local/hadoop/hdfs/name&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;description&gt;namenode上存储hdfs名字空间元数据 &lt;/description&gt; &nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp;&nbsp;&nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;dfs.datanode.data.dir&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;file:/usr/local/hadoop/hdfs/data&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;description&gt;datanode上数据块的物理存储位置&lt;/description&gt; &nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp;&nbsp;&nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;dfs.replication&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;2&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;description&gt;副本个数，默认是3,应小于datanode机器数量&lt;/description&gt; &nbsp;&nbsp;&nbsp; &lt;/property&gt; </td> 
 </tr> 
 </tbody> 
</table>

![70 23][]

23.输入 cp mapred-site.xml.template mapred-site.xml 将mapred-site.xml.template文件复制到当前目录，并重命名为mapred-site.xml

![70 24][]

24.输入 vi mapred-site.xml 修改配置文件

![70 25][]

25.在configuration标签中，添加如下内容，保存并退出

![70 26][]

26.输入 vi yarn-site.xml 修改配置文件

![70 27][]

27.在configuration标签中，添加如下内容，保存并退出

<table style="width:500px;"> 
 <tbody> 
 <tr> 
 <td> &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;yarn.resourcemanager.hostname&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;master&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;description&gt;指定resourcemanager所在的hostname&lt;/description&gt; &nbsp;&nbsp;&nbsp; &lt;/property&gt; &nbsp;&nbsp;&nbsp; &lt;property&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;name&gt;yarn.nodemanager.aux-services&lt;/name&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;value&gt;mapreduce_shuffle&lt;/value&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;description&gt; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; NodeManager上运行的附属服务。 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 需配置成mapreduce_shuffle，才可运行MapReduce程序 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; &lt;/description&gt; &nbsp;&nbsp;&nbsp; &lt;/property&gt; </td> 
 </tr> 
 </tbody> 
</table>

![70 28][]

28.输入 vi slaves 修改配置文件

![70 29][]

29.将localhost删掉，加入如下内容，即dataNode节点的主机名

node1

node2

![70 30][]

30.将虚拟机关闭，再复制两份虚拟机，重命名为如下，注意这里一定要关闭虚拟机，再复制

![70 31][]

31.将3台虚拟机都打开，后两台复制的虚拟机打开时，都选择“我已复制该虚拟机”

![70 32][]

32.在master机器上，输入 vi /etc/hostname，将localhost改为master，保存并退出

![70 33][]

33.在node1机器上，输入 vi /etc/hostname，将localhost改为node1，保存并退出

![70 34][]

34.在node2机器上，输入 vi /etc/hostname，将localhost改为node2，保存并退出

![70 35][]

35.在三台机器分别输入 vi /etc/hosts 修改文件，其作用是将一些常用的网址域名与其对应的IP地址建立一个关联，当用户在访问网址时，系统会首先自动从Hosts文件中寻找对应的IP地址

![70 36][]

![70 37][]

![70 38][]

36.三个文件中都加入如下内容，保存并退出，注意这里要根据自己实际IP和节点主机名进行更改，IP和主机名中间要有一个空格

192.168.244.131 master

192.168.244.132 node1

192.168.244.133 node2

![70 39][]

37.在master机器上输入 ssh-keygen -t dsa -P '' -f ~/.ssh/id\_dsa 创建一个无密码的公钥，-t是类型的意思，dsa是生成的密钥类型，-P是密码，’’表示无密码，-f后是密要生成后保存的位置

![70 40][]

38.在master机器上输入 cat ~/.ssh/id\_dsa.pub >> ~/.ssh/authorized\_keys 将公钥id\_dsa.pub添加进keys，这样就可以实现无密登陆ssh

![70 41][]

39.在master机器上输入 ssh master 测试免密码登陆

![70 42][]

如果有询问，则输入 yes ，回车

![70 43][]

40.在node1主机上执行 mkdir ~/.ssh

![70 44][]

41.在node2主机上执行 mkdir ~/.ssh

![70 45][]

42.在master机器上输入 scp ~/.ssh/authorized\_keys root@node1:~/.ssh/authorized\_keys 将主节点的公钥信息导入node1节点，导入时要输入一下node1机器的登陆密码

![70 46][]

若有下错误

进入cd ~/.ssh目录下 输入rm known\_hosts

![70 47][]

43.在master机器上输入 scp ~/.ssh/authorized\_keys root@node2:~/.ssh/authorized\_keys 将主节点的公钥信息导入node2节点，导入时要输入一下node2机器的登陆密码

![70 48][]

44.在三台机器上分别执行 chmod 600 ~/.ssh/authorized\_keys 赋予密钥文件权限

![70 49][]

![70 50][]

![70 51][]

45.在master节点上分别输入 ssh node1 和 ssh node2 测试是否配置ssh成功

![70 52][]

46.如果node节点还没有hadoop，则master机器上分别输入如下命令将hadoop复制

scp -r /usr/local/hadoop/ root@node1:/usr/local/

scp -r /usr/local/hadoop/ root@node2:/usr/local/

![70 53][]

![70 54][]

47.在master机器上，任意目录输入 hdfs namenode -format 格式化namenode，第一次使用需格式化一次，之后就不用再格式化，如果改一些配置文件了，可能还需要再次格式化

![70 55][]

48.格式化完成

![70 56][]

49.在master机器上，进入hadoop的sbin目录，输入 ./start-all.sh 启动hadoop

![70 57][]

50.输入yes，回车

![70 58][]

51.输入 jps 查看当前java的进程，该命令是JDK1.5开始有的，作用是列出当前java进程的PID和Java主类名，nameNode节点除了JPS，还有3个进程，启动成功

![70 59][]

52.在node1机器和node2机器上分别输入 jps 查看进程如下，说明配置成功

![70 60][]

![70 61][]

53.在浏览器访问nameNode节点的8088端口和50070端口可以查看hadoop的运行状况

![70 62][]

![70 63][]

## 二、wordCount测试 ##

1.在master机器上，任意目录下输入 hadoop fs -mkdir /input ，这是在HDFS分布式文件系统上建一个存放输入文件的目录，并不是在Linux中建目录

![70 64][]

2.将一个用于测试分词的文件上传到该目录，这里我用hadoop下的一个文档来演示，进入hadoop的目录，找到LICENSE.txt文件，我们用这个文件进行演示分词计数

![70 65][]

3.在当前目录输入 hadoop fs -put LICENSE.txt /input，将该文件输入到HDFS

![70 66][]

4.任意目录输入 hadoop fs -ls /input ，查看该目录下的文件，可以看到文件输入成功

![70 67][]

5.在master机器上，任意目录输入命令：

hadoopjar /usr/local/hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/ /output/

用hadoop里一个例子程序运行wordcount，对/input/下的文件进行分词计数，处理完成后，输出到 /output/ 目录

![70 68][]

这里若出现如下问题，是由于节点间系统时间不一致导致，所有节点都执行一遍 date -s “时间”（例如：date -s “2017-02-06 22:00:00”） 即可

![70 69][]

6.wordcount处理完成后，在master机器上，任意目录输入 hadoop fs -ls /output 查看目录下文件

![70 70][]

7.输入 hadoop fs -cat /output/part-r-00000 查看分词计数处理后的文件

![70 71][]

8.可以看到文件中的单词计数处理完成

![70 72][]

9.此时也可以从master机器的8088端口看到进程管理中运行了WordCount

![70 73][]

[70]: /images/20220516/6c677ee6af5d40709ca97ad57267d260.png
[70 1]: /images/20220516/00c8c67b08454341ad8ece6c4784bf70.png
[70 2]: /images/20220516/bdf914a67717458ba391c2128cace12e.png
[70 3]: /images/20220516/980e60d6d5604d2791f4354592159d99.png
[70 4]: /images/20220516/b4d2df407491444d8917b32e70fe96de.png
[70 5]: /images/20220516/2f700cba6e4a455981d8e7869e9433a2.png
[70 6]: /images/20220516/f7a89044e036437b900d10201d5dd912.png
[70 7]: /images/20220516/1dfb8a495e964b0fbdc0ca10685bb170.png
[70 8]: /images/20220516/a0e9cf1580784f55b0f9e09c248a5d24.png
[70 9]: /images/20220516/2d5301595e584de1a377b16ab422291c.png
[70 10]: /images/20220516/eda1ebaf10a14e5f8f41389096931cda.png
[70 11]: /images/20220516/30ee41516a6544f895258cd4406b7df9.png
[70 12]: /images/20220516/7105e0a1846f4d90b95d1b47246eb022.png
[70 13]: /images/20220516/35115e8cf5ef4ef495ba5d081df09cff.png
[70 14]: /images/20220516/38a8dc72d969465cb13ab6e18c38396c.png
[70 15]: /images/20220516/23720e3694ab431eaba61262cb7165c3.png
[70 16]: /images/20220516/c408a7b0b7e046f2858b23d6954fe77e.png
[70 17]: /images/20220516/2e7a70befdf845d3b8053f4a98de967e.png
[70 18]: /images/20220516/38ff888d57d14acc8164150bfcdb4887.png
[70 19]: /images/20220516/77faacd019624a90915bc63c4b4625ec.png
[70 20]: /images/20220516/baeac79c4bf94498b4101632ab991ca9.png
[70 21]: /images/20220516/ed9ab990fff74a7f8f6a880144f97100.png
[70 22]: /images/20220516/e86928fd54994f4bb18ef12047fbfb0b.png
[70 23]: /images/20220516/0658942265b04fbc800625c35ab4676e.png
[70 24]: /images/20220516/b3365c39c00443519ab6e5ff600d44d5.png
[70 25]: /images/20220516/74c3f367a0ba4788b8af0b310172afbb.png
[70 26]: /images/20220516/10b4cbe5f0a1401185cc1cdaf5253a48.png
[70 27]: /images/20220516/eb64e9ddf77c467d81a2d0d24b81eaf4.png
[70 28]: /images/20220516/689f4e20688b455e935411adfb2ada33.png
[70 29]: /images/20220516/7fd42a873c6343e39dae3c0c2bd2a7f2.png
[70 30]: /images/20220516/bcd66682c8b14dbb80f678e8c33036a6.png
[70 31]: /images/20220516/62c7ec9fa4a6427db71e11ca7ed9a8fc.png
[70 32]: /images/20220516/a22172fb4c564de18202fb74fae4057f.png
[70 33]: /images/20220516/efefd83b1ad54f13ae63f7d45e4b3450.png
[70 34]: /images/20220516/dd201d298f6a44418e57ebc6bce5d152.png
[70 35]: /images/20220516/6292925b61084cfeba782cbad7827b47.png
[70 36]: /images/20220516/0a5398c00a8a4928a4e31598d395d14c.png
[70 37]: /images/20220516/ed0e96595e6d43bebf26bf66aa1d47c0.png
[70 38]: /images/20220516/d415ce5787404790a5c238508d79323e.png
[70 39]: /images/20220516/8fec7d8e4f3a4debb4ab7fe9075cded7.png
[70 40]: /images/20220516/cd766ca88e2b49ea8ada9d70f0c72e19.png
[70 41]: /images/20220516/7d7b5146176d47298e84f1439791888d.png
[70 42]: /images/20220516/0eeff2749850441fac53a66876103b4c.png
[70 43]: /images/20220516/b9064c404d5f4b508614116ed887ab40.png
[70 44]: /images/20220516/949ea6eee0c14fd8bf919497d0e731db.png
[70 45]: /images/20220516/7d2b5055de2f422db64bf80e39d9bf6d.png
[70 46]: /images/20220516/d077ce1451b5406eb2928e902e837e5b.png
[70 47]: /images/20220516/bfae55de8db147b4b0318c4bbb206429.png
[70 48]: /images/20220516/9b2a8ad7adc3466b8102aeb9011a3339.png
[70 49]: /images/20220516/2dd909041ffc43c783ba176a6a9e3515.png
[70 50]: /images/20220516/dd717c0990fe46218f1cecde66d09293.png
[70 51]: /images/20220516/7c93b04d28b84d76a2058dcc388b6462.png
[70 52]: /images/20220516/60b9b2e2cc25420492491d290a8c6723.png
[70 53]: /images/20220516/10eec0f9a1594dc48f51590e5cd199a4.png
[70 54]: /images/20220516/4ad3a0e1a03b49b98ce7954008e7a39b.png
[70 55]: /images/20220516/b5e7ab1ec9bb462195e4c2c180766a01.png
[70 56]: /images/20220516/3fe34d931b444f3eb52b35e6517b10b5.png
[70 57]: /images/20220516/80b3ffcde25d4e199f10c3ed59fe2d5e.png
[70 58]: /images/20220516/9ea63d013428463c9e1c317b0f13e299.png
[70 59]: /images/20220516/f2ce8040de12438a9282df611c8f117c.png
[70 60]: /images/20220516/bb16c39fc04140f4b7baa596d15b90ef.png
[70 61]: /images/20220516/0914a450b9754434aea23de28eb4c0cc.png
[70 62]: /images/20220516/014e18ddab7c4867a0f2e6a682e9c8a1.png
[70 63]: /images/20220516/45e1d9cae3e24f08ad2d2963c6fee858.png
[70 64]: /images/20220516/8731b32afb8f48618a9a28851c9983ae.png
[70 65]: /images/20220516/fa8a0c772e6b47f3ba5bb67b1aa61bce.png
[70 66]: /images/20220516/7fa0bdbdc37f426585cf906b2fabce3b.png
[70 67]: /images/20220516/c4825298b2674634b362dbf9a41858dd.png
[70 68]: /images/20220516/43933730a7f84c9592e3a599f36ab523.png
[70 69]: /images/20220516/0faba200da5b42459056c50dc3f0d184.png
[70 70]: /images/20220516/e2ea62fd426b4ad98967eb7645eb20e9.png
[70 71]: /images/20220516/ae00a3f4ed12492fa1afe752544113e1.png
[70 72]: /images/20220516/8da9b06fdaaa43ef8952e31775ce89b6.png
[70 73]: /images/20220516/dfc46d4be2d84a739f1e071f62a047d9.png