集群HDFS文件的操作（Shell）

ゞ浴缸里的玫瑰 2022-04-04 03:46 240阅读 0赞

### 集群HDFS文件的操作（Shell） ###

*  1.基本语法
 *  2.一些帮助理解的例子
 *   *  2.1命令执行条件（启动集群）
     *  2.2查看常用命令
     *  2.3查看单个命令详情
     *  2.4一些思考

# 1.基本语法 #

1.既能操作分布式也能操作本地:bin/hadoop fs 具体命令  
2.只能操作分布式:bin/hdfs dfs 具体命令  
**注：如果配了hadoop的环境变量可以省去**bin/

# 2.一些帮助理解的例子 #

## 2.1命令执行条件（启动集群） ##

1.执行命令：\[lsl@hadoop102 hadoop-2.7.2\]$ [start-dfs.sh][]  
2.再执行命令：\[lsl@hadoop103 hadoop-2.7.2\]$ [start-yarn.sh][]

## 2.2查看常用命令 ##

1.执行命令：\[lsl@hadoop102 hadoop-2.7.2\]$ hadoop fs  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]

## 2.3查看单个命令详情 ##

1.执行命令：hadoop fs -help \[命令\]  
2.例：  
![在这里插入图片描述][20181214175839473.png]

## 2.4一些思考 ##

1.-setrep：设置HDFS中文件的副本数量  
2.执行命令：hadoop fs -setrep 10 /user/lsl/input/wc.input  
3.结果：  
![在这里插入图片描述][20181214180014207.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 1]  
4.现象说明：  
这里设置的副本数只是记录在NameNode的元数据中，是否真的会有这么多副本，还得看DataNode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数增加到10台时，副本数才能真正达到10。

**版权声明：本博客为记录本人自学感悟，转载需注明出处！**  
[https://me.csdn.net/qq\_39657909][https_me.csdn.net_qq_39657909]

[start-dfs.sh]: http://start-dfs.sh
[start-yarn.sh]: http://start-yarn.sh
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70]: /images/20220404/2efbbc05c7df4b2e8b5c1f32a1086af8.png
[20181214175839473.png]: /images/20220404/1a2dcb9ac5344063898da130c28d5599.png
[20181214180014207.png]: /images/20220404/62a5eca38abc43a6ab8ebad14643aeea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NjU3OTA5_size_16_color_FFFFFF_t_70 1]: /images/20220404/07115b7fcddd4c15bb707e2cde08d27a.png
[https_me.csdn.net_qq_39657909]: https://me.csdn.net/qq_39657909