Linux下hadoop伪分布式模式部署

左手的ㄟ右手 2022-02-03 10:25 290阅读 0赞

### 文章目录 ###

*  一、前言
 *  二、设置环境变量
 *  三、hadoop文件配置
 *  四、启动hadoop
 *  五、总结

# 一、前言 #

hadoop伪分布式部署需要jdk环境及安装hadoop，因之前在hadoop单机版配置写过，这里就不多赘述，未配置jdk环境或未安装hadoop可以去看看  
[https://blog.csdn.net/qq\_41521180/article/details/88311299\#hadoop\_146][https_blog.csdn.net_qq_41521180_article_details_88311299_hadoop_146]

# 二、设置环境变量 #

编辑环境变量文件

vim ~/.bash_profile

在环境变量中添加hadoop的home、bin、sbin目录，我hadoop安装的路径为/usr/local/hadoop-2.6.5，大家记得修改为自己安装hadoop的路径

HADOOP_HOME=/usr/local/hadoop-2.6.5          //此处改为自己的hadoop目录路径 
    export HADOOP_HOME
    
    PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
    export PATH

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70]  
使环境变量生效

source ~/.bash_profile

# 三、hadoop文件配置 #

进入hadoop下的etc/hadoop目录编辑hadoop-env.sh文件

vim hadoop-env.sh

注释以下这行

export JAVA_HOME=${JAVA_HOME}

在注释下增加

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64

路径为jdk安装路径，安装过的可输入 echo $JAVA\_HOME获取  
![在这里插入图片描述][20190509145910591.png]  
![在这里插入图片描述][20190509145424950.png]  
在hadoop目录下新建tmp文件夹用以存放datanode数据

mkdir tmp

分别配置hdfs-site.xml、core-site.xml、mapred-site.xml、yarn-site.xml文件

配置文件在hadoop目录里的etc/hadoop/目录下  
![在这里插入图片描述][20190509111152693.png]  
在hadoop路径下进入配置文件目录

cd etc/hadoop   //进入配置文件目录

**注意！在配置文件中，云服务器用户的，ip地址需要使用服务器私有ip**  
可输入ip addr查看或在云服务控制台查看  
![在这里插入图片描述][20190509151637316.png]

**1、配置hdfs-site.xml文件**

vim  hdfs-site.xml

在 < configuration > < /configuration > 里添加以下内容

<property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>
    
    
    <property>
      <name>dfs.permissions</name>
      <value>false</value>
    </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 1]  
以此类推

**2、配置core-site.xml文件**

<property>
                    <name>hadoop.tem.dir</name>
                    <value>tem文件路径</value>
            </property>
    
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://ip地址:9000</value>       
            </property>

其中 我的tem文件路径为/usr/local/hadoop-2.6.5/tmp，服务器私有ip为  
172.18.77.138，大家要根据自身情况修改，以免错误，下同

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 2]  
**3、配置mapred-site.xml文件**

<configuration>
    	<property>
    		<name>mapreduce.framework.name</name>
      		<value>yarn</value>
    	</property>
    </configuration>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 3]  
**4、配置yarn-site.xml文件**

<property>
      <name>yarn.resourcemanager.hostname</name>
      <value>ip地址</value>
    </property>
    
    
    
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 4]

# 四、启动hadoop #

格式化namenode

hdfs namenode -format

格式化成功后，启动hadoop，有让选择yes/no的选择yes，输入多次密码即可启动成功

start-all.sh

键入jps命令查看结点情况  
![在这里插入图片描述][2019050911431186.png]  
如上图则启动成功，在网页输入http://ip:8088 可看到一只黄色小象

**注意！！！！：在网页输入的ip地址为公网ip，而不是私有ip**

云服务器则需要在安全组开放8088端口才可访问  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 5]

# 五、总结 #

hadoop伪分布式模式是本地模式的升级版，基本具备所有hadoop功能，如果结点只启动了部分，可以去logs目录查看未启动结点的日志信息，根据错误提示来解决问题。

[https_blog.csdn.net_qq_41521180_article_details_88311299_hadoop_146]: https://blog.csdn.net/qq_41521180/article/details/88311299#hadoop_146
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70]: /images/20220203/501208e550ee4959902d66b36b932024.png
[20190509145910591.png]: /images/20220203/ac7cd4434aec43b7a9c32a246a1be67d.png
[20190509145424950.png]: /images/20220203/06d545cc78964134ac07a1ebb94827d8.png
[20190509111152693.png]: /images/20220203/4289b49204554f0cb22421625eafa52e.png
[20190509151637316.png]: /images/20220203/942a233ed8fa4802bb91217916bc5eb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 1]: /images/20220203/1f47ec6f5aa842e79889dc60b7b77f92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 2]: /images/20220203/b5af2837e4fa49ef95fcaebf40c74ff9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 3]: /images/20220203/a3b6f4dfbbb64d1fa1323046343c8ee4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 4]: /images/20220203/c60eba0db7ad42178e2c20d8ada74304.png
[2019050911431186.png]: /images/20220203/705dbe16b0b745ef85c2efe3b12e37c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNTIxMTgw_size_16_color_FFFFFF_t_70 5]: /images/20220203/7d513a0997aa4ccabe943ffd94cd6d1a.png