Hadoop-伪分布式模式搭建

素颜马尾好姑娘i 2023-06-27 12:40 81阅读 0赞

![format_png][]

伪分布式模式是在一台服务器上搭建,既有HDFS存储，也有MapReduce分析，基本上可以满足Hadoop这块的学习,后续小编的学习笔记都会以伪分布模式来讲解，今天主要是对Hadoop的伪分布式模式搭建，希望大家能够跟着这篇文章将环境搭建好。

与本地模式一样，需关闭防火墙，所需的软件,软件的上传和解压就不罗列了，可以查看《[Hadoop-本地模式搭建][Hadoop-]》。现在直接从JDK的配置开始。

**1.JDK和Hadoop环境变量搭建 **

vi~/.bash\_profile

JAVA\_HOME=/root/training/jdk

export JAVA\_HOME

PATH=$JAVA\_HOME/bin:$PAHT

export PATH

HADOOP\_HOME=/root/training/hadoop

export HADOOP\_HOME

PATH=$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin:$PATH

export PATH

**2.生效环境变量**

\[root@bigdata11 hadoop-2.7.3\]. ~/.bash\_profile或者source ~/.bash\_profile

注意：若使用前面的语句 .和~中间有个空格。

**3.配置hadoop-env.sh文件**

在hadoop的文件下的etc文件夹下

vi hadoop-env.sh

export JAVA\_HOME=/root/training/jdk

\--上面和本地模式一样，下面是针对伪分布式模式，修改的文件均在：

\[root@bigdata11 hadoop\]\# pwd

/root/training/hadoop-2.7.3/etc/hadoop

约定hadoop解压后的路径。

![format_png 1][]

**4.修改hdfs-site.xml**

在<configuration></configuration>中间添加：

<name>dfs.replication</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

**5.修改core-site.xml**

在<configuration></configuration>中间添加：

<name>fs.defaultFS</name>

<value>hdfs://bigdata11:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/root/training/hadoop-2.7.3/tmp</value>

</property>

**6.修改mapred-site.xml**

\[root@bigdata11 hadoop\]\# cp mapred-site.xml.template mapred-site.xml

在<configuration></configuration>中间添加：

<name>mapreduce.framework.name</name>

</property>

**7.修改yarn-site.xml**

在<configuration></configuration>中间添加：

<name>yarn.resourcemanager.hostname</name>

<value>bigdata11</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

</property>

**8.对NameNode进行格式化**

hdfs namenode -format

![format_png 2][]

**9.测试验证**

当前伪分布式环境，需要在hadoop环境来验证，需要创建hadoop文件

\[root@bigdata11 ~\]\# hdfs dfs -mkdir /input

\[root@bigdata11 temp\]\# hdfs dfs -put data.txt /input

\[root@bigdata11 temp\]\# hdfs dfs -ls /input

进入：/root/training/hadoop-2.7.3/share/hadoop/mapreduce/

执行：hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/wc1204

此篇文章主要是伪分布式环境的搭建,最后通过一个示例来验证hadoop环境，包括了HDFS存储和MapReduce分析，其中包括一部分的HDFS命令,后续会专门写一篇文章来讲解HDFS命令,大家可以先搭建环境,,如果大家学习的大数据知识超过文章的进度,可以留言在留言板，与小编一起学习讨论.

在公众号 回复 3：获取最新的大数据学习路线，当前获取的大数据学习路线，还在完善中。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9veEFIZXdhTDJyaWFoenFhUXpBYjZEeFZiWjJ5REpqdDZFVnZKdzhpYWFOb1F1UVJNTlRBQkh3NXZDaWIwTDhkUk5vek1MUkZpYWp0QU1sbHgyMEU1aWExczF3LzY0MA?x-oss-process=image/format,png
[Hadoop-]: http://mp.weixin.qq.com/s?__biz=MzA4MjQ0ODEzMA%3D%3D&chksm=9f84d940a8f35056aa2b59653b53431c0117506d7f68710257582d85b608a433a9794cc75659&idx=1&mid=2247484205&scene=21&sn=7224a1a82da5d6df082255b20393ea1a#wechat_redirect
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9veEFIZXdhTDJyamppYjJ5UUM0MU56MzBWb21zNnFvU1FKTDNJWk8zTUJaUFoxeXVpY1gwSXdzS3M4VTNjUk1LQVZTaWFkVnlZZ2licWRxQ1NxTE14czJYM1EvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9veEFIZXdhTDJyamppYjJ5UUM0MU56MzBWb21zNnFvU1FScEZIb2F6eFFDeVVyZ1c0OVFSM2Z3bGFUbWlibHVVN3Fna2x6VmxpYmRpYW9tZUJmZldVbU5mZ3cvNjQw?x-oss-process=image/format,png