Hadoop伪分布式 => 启动HDFS并运行MR程序

亦凉 2023-07-21 06:17 2阅读 0赞

**配置：**

cd /opt/module/hadoop-2.9.2/

sudo rm -rf data

sudo vim etc/hadoop/core-site.xml

在<configuration></configuration>中间加入下面内容

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9000</value>
    </property>
    
    
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.9.2/data/tmp</value>
    </property>

sudo vim etc/hadoop/hadoop-env.sh

将 export JAVA\_HOME=$\{JAVA\_HOME\} 修改为 export JAVA\_HOME=/opt/module/jdk1.8.0\_241

sudo vim etc/hadoop/hdfs-site.xml

在<configuration></configuration>中间加入下面内容

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

**启动集群：**

格式化NameNode：（注意第一次格式化，以后不用每次格式化）

bin/hdfs namenode -format

启动NameNode：

sbin/hadoop-daemon.sh start namenode

启动DataNode：

sbin/hadoop-daemon.sh start datanode

查看状态：

jps

输入网址：[http://hadoop101:50070][http_hadoop101_50070]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODg4MzMzOA_size_16_color_FFFFFF_t_70][]

![20200402225144893.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODg4MzMzOA_size_16_color_FFFFFF_t_70 1][]

在HDFS里创建目录：

bin/hdfs dfs -mkdir -p /user/atguigu/input

![20200402225334717.png][]

将本地文件上传到HDFS里

bin/hdfs dfs -put NOTICE.txt /user/atguigu/input

[http_hadoop101_50070]: http://hadoop101:50070
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODg4MzMzOA_size_16_color_FFFFFF_t_70]: /images/20230528/5669ab10226647c98d94ffa081cbec77.png
[20200402225144893.png]: /images/20230528/47d6ba3c29f24a4eac64b46299596981.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODg4MzMzOA_size_16_color_FFFFFF_t_70 1]: /images/20230528/fb9c80d0dabe4081871651ebb3ed9abd.png
[20200402225334717.png]: /images/20230528/36209c2e145c4e53a511afb0f4b91644.png