Hadoop个人心得笔记之DFS目录 迈不过友情╰ 2021-12-18 06:59 272阅读 0赞 # DFS目录 # -------------------- 1. dfs目录在NameNode被格式化的时候产生 2. dfs目录的子目录：name、data、namesecondary 3. in\_use.lock标记当前节点已经在使用 4. HDFS第一次启动的时候，会默认在1min的时候进行一次合并，之后就按照更新条件啦进行合并 5. edits文件的开始和结束都会算作一次事务 6. 上传文件： 1. OP\_ADD：在指定目录下创建一个同名文件.\_COPYING\_，此时这个文件允许写入 2. OP\_ALLOCATE\_BLOCK\_ID：分配BlockID 3. OP\_SET\_GENSTAMP\_V2：给时间戳分配一个编号 4. OP\_ADD\_BLOCK：将数据传输到HDFS上 5. OP\_CLOSE：关流，关闭文件，此时文件不允许写入 6. OP\_RENAME\_OLD：重命名 7. edits文件的转化命令：hdfs oev -i edits\_XXX -o xxx.xml 8. fsimage文件的转化命令：hdfs oiv -i fsimage\_0000000000000000000 -o f.xml -p XML 9. VERSION文件： 1. clusterID：集群编号。在NameNode被格式化的时候，自动计算一个clusterID，并且会在启动HDFS之后，NameNode会将clusterID分发给每一个DataNode；NameNode每格式化一次，clusterID都会重新计算 2. storageType：节点类型 3. blockpoolID：块池ID。主用于联邦HDFS中
相关 Hadoop个人心得笔记之上传文件错误 Hadoop上传文件错误 目录 Hadoop上传文件错误org.apache.hadoop.ipc.Rem 深藏阁楼爱情的钟/ 2021年12月20日 05:23/ 0 赞/ 600 阅读
相关 Hadoop个人心得笔记(一) Hadoop个人心得笔记(一) Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计 小鱼儿/ 2021年12月20日 04:31/ 1 赞/ 383 阅读
相关 Flume个人心得笔记 一、概述 1. Flume是Apache提供的开源的、分布式的、可靠的日志收集系统 2. 能够有效的收集、聚合、传输大量的日志数据 3. Flume有2个版本：Fl 布满荆棘的人生/ 2021年12月16日 12:25/ 0 赞/ 408 阅读
青旅半醒
深藏阁楼爱情的钟
小鱼儿
小灰灰
╰+攻爆jí腚メ
朱雀
还没有评论，来说两句吧...