大数据学习(1)-Hadoop HDFS基础分布式集群搭建及使用

约定不等于承诺〃 2022-01-22 09:37 150阅读 0赞

### HDFS分布式集群搭建【基础版】 ###

*  环境：以CentOS6.5为例
 *   *  准备
     *  配置文件修改
     *  配置Hadoop环境变量
     *  NameNode格式化
     *  启动|停止hadoop【在NameNode节点运行】
     *  shell访问HDFS
     *  浏览器访问HDFC

# 环境：以CentOS6.5为例 #

*  防火墙关闭并关闭自启
 *  selinux设置关闭
 *  设置主机名
 *  设置主机映射 jdk1.7
 *  ssh免密登陆
 *  hadoop-2.5.2

## 准备 ##

解压hadoop，并在hadoop根目录下创建 **data/tmp**目录

## 配置文件修改 ##

配置文件位置：hadoop目录下的etc/hadoop  
**hadoop-env.sh**

export JAVA_HOME=/usr/java/jdk1.7.0_71    #jdk路径

**core-site.xml**

<property>		
                 <name>fs.defaultFS</name>
                 <value>hdfs://hadoop1.msk.com:8020</value>
            </property>
           
           
            <property>
    	         <name>hadoop.tmp.dir</name>
    	         <value>/opt/install/hadoop-2.5.2/data/tmp</value>
             </property>

**hdfs-site.xml**

<property>		
                <name>dfs.replication</name>
                <value>3</value>
            </property>
    
             <property>
                 <name>dfs.permissions.enabled</name>
                 <value>false</value>
              </property>
              <property>
                  <name>dfs.namenode.http.address</name>
                  <value>hadoop1.mask.com:50070</value>
               </property>

**mapred-site.xml**

<property>	 	        		
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
           </property>

**yarn-site.xml**

<property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
      </property>

**slaves**  
这里配置DataNode的主机名 机器有限，这里节点1即为NameNode也为DataNode

hadoop1.msk.com

## 配置Hadoop环境变量 ##

在环境变量文件/etc/profile加入

export HADOOP_HOME=(你的Hadoop安装路径)
    export path=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

## NameNode格式化 ##

目的作用：格式化hdfs系统，并且生成存储数据块的目录

hadoop namenode -format

## 启动|停止hadoop【在NameNode节点运行】 ##

sbin/start-all.sh
       sbin/stop-all.sh