hadoop伪分布式集群安装

短命女 2023-02-12 05:55 107阅读 0赞

一、下载hadoop安装包

hadoop安装包分为apache官方以及CDH，具体区别在此不做介绍，本次搭建选择的是hadoop-2.6.0-cdh5.7.0版本
下载路径http://archive.cloudera.com/cdh5/

二、配置hadoop

hadoop相关配置文件在/etc目录下
我们需要修改的文件有
core-site.xml，hadoop-env.sh，hdfs-site.xml

  1. 对hadoop-env.sh文件中的JAVA_HOME进行一下配置

  2. 在hdfs-site.xml文件中添加配置

    1. <configuration>
    2.     <property>
    3.     <!-- 存储副本的数量，因为我们是伪分布式，所以副本数量为1 -->
    4.         <name>dfs.replication</name>
    5.         <value>1</value>
    6.     </property>
    7.     <!-- namenode相关信息存储路径 -->
    8.     <property>
    9.         <name>dfs.namenode.name.dir</name>
    10.         <value>file:/XXX/Hadoop/dfs/name</value>
    11.     </property>
    12.     <!-- datanode相关信息存储路径 -->
    13.     <property>
    14.         <name>dfs.datanode.data.dir</name>
    15.         <value>file:/XXX/Hadoop/dfs/data</value>
    16.     </property>
    17. </configuration>

    配置好之后我们需要创建/XXX/Hadoop/dfs/name和/XXX/Hadoop/dfs/data这两个文件

  3. 配置core-site.xml

    1. <configuration>
    2.     <!-- 表明我们hdfs的默认ip -->
    3.     <property>
    4.         <name>fs.defaultFS</name>
    5.         <value>hdfs://localhost:9000</value>
    6.     </property>
    7.     <!-- 表明我们tmp文件的路径 -->
    8.     <property>
    9.         <name>hadoop.tmp.dir</name>
    10.         <value>/XXX/Hadoop/tmp</value>
    11.     </property>
    12. </configuration>

    之后我们需要进到/bin目录下面执行./hdfs namenode -format对namenode进行格式化
    如果看到下面这段话则说明格式化成功

    1. 19/12/07 15:04:31 INFO util.ExitUtil: Exiting with status 0

三、启动

  1. /sbin目录下面使用./start-dfs.sh启动hdfs集群
  2. 使用./hdfs dfs -ls /查看hdfs根目录为空
  3. 然后我们在执行./hdfs dfs -mkdir /test之后再查询会发现根目录已经存在/test文件

发表评论

表情：
评论列表 （有 0 条评论，107人围观）

还没有评论，来说两句吧...

相关阅读

    相关 hadoop分布式集群安装

    搭建分布式集群的前提安装步骤需要每一台机器都要执行（jdk安装，ip配置，主机名设置，hosts文件配置，关闭防火墙，免密登录） 免密登录注意，至少确保主节点可以免密登录到

    秒速五厘米秒速五厘米/ 0 赞/ 108 阅读