初始hadoop hdfs

红太狼 2023-06-27 11:30 2阅读 0赞

核心组件：

分布式文件系统: HDFS 实现将文件分布式存储在很多的服务器上

分布式计算框架MapReduce实现在很多机器上分布式并行计算

分布式资源调度框架: YARN实现集群资源管理以及作业调度

HDFS系统：

提供API，像单机文件一样操作，无需关心具体如何存储。

模拟案例(文件 块 副本)
    
    文件 test.log 200M
    块   假设默认128M  block1=128M block2=72M
    副本  3副本
    
    node1 block1 block2
    node2 block2
    node3 block1 block2
    node4
    node5 block1

移动计算比移动数据成本低

我们数据在A机器上，如果我们想在B计算使用，传统方法移动数据非常麻烦且耗时，比如将计算移动到A上去。
    
    hdfs可以将计算 向 数据存储的位置偏移。

HDFS架构

master 和 slave  一主多从
    NameNode 和 DataNodes
     
    NN: 管理文件系统，管理block和DN的关系
    	提供客户端对文件访问 CRUD
    DN：有无数个，负责数据存储。

hadoop下载地址

http://archive.cloudera.com/cdh5/cdh/5/

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/

hadoop / Hive / Spark 学习 单机版就足够了，不要沉迷于集群。

http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html

# 配置免登陆
    ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    # /etc/hosts
    ip hadoop000
    # 验证
    ssh hadoop000

安装hadoop

修改配置文件
    hadoop-env.sh
        export JAVA_HOME=/usr/local/java/jdk1.8.0_231
        
    core-site.xml
        <configuration>
          <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop000:8020</value>
          </property>
    	</configuration>
    
    hdfs-site.xml
     <property>
       <name>dfs.replication</name>
       <value>1</value>
     </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/usr/local/hadoop/hadoop_data/tmp</value>
    </property>
    
    slaves
        hadoop000

配置环境变量
    # java path
    export JAVA_HOME=/usr/local/java/jdk1.8.0_231
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH
    
    # anaconda 
    export PATH=/root/anaconda3/bin:$PATH
    
    # hadoop
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=${HADOOP_HOME}/bin:$PATH

启动

# 第一次执行的时候，要格式化文件系统
    hdfs namenode -format
    # 启动集群
    ./sbin//start-dfs.sh => 等价于
    start-daemons.sh start namenode
    start-daemons.sh start datanode
    start-daemons.sh start secondarynamenode
    # 验证
    jps
    
    
    端口 50070 hdfs界面