hdfs架构与使用以及启动流程

蔚落 2022-10-15 11:58 133阅读 0赞

## hdfs架构： ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc_size_16_color_FFFFFF_t_70][]

Haoop1存在的问题：

*  name node 单点故障
 *  name node内存受限

### 如何解决单点故障： ###

自然而然会想到，再加一个name node节点，但是，他是有状态的，那么就需要数据同步，可以直接交互同步，但是为了解耦合，易扩展，我们引入QJM（也可以用zk替代）；

还有个问题需要解决，故障时候，自动切换问题，这时候就要引入zk，然后通过zkfc（由于有状态的特殊性，所以比较复杂）对namenode监控，然后对zk进行操作，最终做到故障自动切换；

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc_size_16_color_FFFFFF_t_70 1][]

### 如何解决 ###

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc_size_16_color_FFFFFF_t_70]: /images/20221014/01a5fdab860746d4acd6a4f11023edd1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2021052620360428.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25hd2VucWlhbmc=,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，133人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS源码分析——DataNode启动流程

DataNode启动流程 1. 概述 2. 解析 secureMain→createDataNode→instantiateDataNode→ma

╰半夏微凉°/ 2024年04月03日 10:16/ 0 赞/ 12 阅读

相关 HDFS源码分析——NameNode启动流程

NameNode启动流程准备工作 1. 概述 2. 解析 main→createNameNode→new NameNode→initial

川长思鸟来/ 2024年04月03日 08:56/ 0 赞/ 21 阅读

相关 HDFS架构

![615800-20160410194709656-653161719.jpg][] 　　HDFS 采用Master/Slave的架构来存储数据，这种架构主要由四个部分组成

朴灿烈づ我的快乐病毒、/ 2023年08月17日 15:19/ 0 赞/ 68 阅读

相关 hdfs架构与使用以及启动流程

hdfs架构： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

蔚落/ 2022年10月15日 11:58/ 0 赞/ 134 阅读

相关 hdfs启动流程

NameNode 1.init() namenode初始化，执行加载配置文件等操作 2.loadFsImage() 2、loadFsImage() ,开始加载元数据

忘是亡心i/ 2022年10月05日 10:42/ 0 赞/ 153 阅读

相关 HDFS架构（ HDFS Architecture）

HDFS架构介绍 Hadoop分布式文件系统（HDFS）是一个运行在普通商用服务器上的分布式文件系统。他和很多的分布式文件系统类似，但是也有很显著的不同。HDFS

迈不过友情╰/ 2022年08月17日 15:11/ 0 赞/ 203 阅读

相关 HDFS原理解析（总体架构，读写操作流程）

前言 > HDFS 是一个能够面向大规模数据使用的，可进行扩展的文件存储与传递系统。是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间

末蓝、/ 2022年06月10日 05:51/ 0 赞/ 146 阅读

相关 HDFS常用命令启动流程

第一次启动集群 hadoop-daemon.sh start journalnode nn1:hdfs namenode -format 产生clusterid

谁借莪１个温暖的怀抱￠/ 2022年05月18日 09:54/ 0 赞/ 126 阅读

相关搜索引擎架构与流程

全网搜索引擎架构与流程全网搜索的宏观架构长啥样? 全网搜索的宏观流程是怎么样的? [![全网搜索引擎的宏观架构][wKioL1ikHAKgmEvMAADmozFS9

我会带着你远行/ 2022年05月13日 03:46/ 0 赞/ 171 阅读

相关 HDFS 架构

前段时间搭建了一套Hadoop集群的测试环境，因为服务器故障，废了。这几天闲来无事，想着把Storm用Yarn管理起来，于是再来一遍，同时也梳理下Hadoop组件中的一些概念。

落日映苍穹つ/ 2021年09月26日 05:54/ 0 赞/ 371 阅读