hdfs实现思想（机制）及hdfs shell

偏执的太偏执、 2023-06-30 06:54 4阅读 0赞

hdfs的实现思想：  
1.hdfs是通过分布式集群存储文件，为客户端提供了一个便捷的访问方式，即虚拟的访问目录结构  
2.文件存储到hdfs集群中去的时候是被切分成block（文件数据）的  
3.文件的block存放在若干台datanode节点上  
4.hdfs文件系统中的文件与真实的block之间有映射关系，由namenode进行管理  
5.每一个block在集群中会存储多个副本，好处是可以提高数据的可靠性，还可以提高访问的吞吐量/并发能力

1.HDFS shell

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw_size_16_color_FFFFFF_t_70][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw_size_16_color_FFFFFF_t_70 2][]

<table style="margin-left:5.65pt;width:426.1pt;"> 
 <tbody> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> 选项名称 </td> 
 <td style="vertical-align:top;width:191.35pt;"> 使用格式 </td> 
 <td style="vertical-align:top;width:151.35pt;"> 含义 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -ls </td> 
 <td style="vertical-align:top;width:191.35pt;"> -ls &lt;路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 查看指定路径的当前目录结构 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -lsr </td> 
 <td style="vertical-align:top;width:191.35pt;"> -lsr &lt;路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 递归查看指定路径的目录结构 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -du </td> 
 <td style="vertical-align:top;width:191.35pt;"> -du &lt;路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 统计目录下个文件大小 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -dus </td> 
 <td style="vertical-align:top;width:191.35pt;"> -dus &lt;路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 汇总统计目录下文件(夹)大小 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -count </td> 
 <td style="vertical-align:top;width:191.35pt;"> -count [-q] &lt;路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 统计文件(夹)数量 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -mv </td> 
 <td style="vertical-align:top;width:191.35pt;"> -mv &lt;源路径&gt; &lt;目的路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 移动 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -cp </td> 
 <td style="vertical-align:top;width:191.35pt;"> -cp &lt;源路径&gt; &lt;目的路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 复制 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -rm </td> 
 <td style="vertical-align:top;width:191.35pt;"> -rm [-skipTrash] &lt;路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 删除文件/空白文件夹 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -rmr </td> 
 <td style="vertical-align:top;width:191.35pt;"> -rmr [-skipTrash] &lt;路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 递归删除 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -put </td> 
 <td style="vertical-align:top;width:191.35pt;"> -put &lt;多个 linux 上的文件&gt; &lt;hdfs 路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 上传文件 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -copyFromLocal </td> 
 <td style="vertical-align:top;width:191.35pt;"> -copyFromLocal &lt;多个 linux 上的文件&gt; &lt;hdfs 路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 从本地复制 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -moveFromLocal </td> 
 <td style="vertical-align:top;width:191.35pt;"> -moveFromLocal &lt;多个 linux 上的文件&gt; &lt;hdfs 路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 从本地移动 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -getmerge </td> 
 <td style="vertical-align:top;width:191.35pt;"> -getmerge &lt;源路径&gt; &lt;linux 路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 合并到本地 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -cat </td> 
 <td style="vertical-align:top;width:191.35pt;"> -cat &lt;hdfs 路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 查看文件内容 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -text </td> 
 <td style="vertical-align:top;width:191.35pt;"> -text &lt;hdfs 路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 查看文件内容 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -copyToLocal </td> 
 <td style="vertical-align:top;width:191.35pt;"> -copyToLocal [-ignoreCrc] [-crc] [hdfs 源路 径] [linux 目的路径] </td> 
 <td style="vertical-align:top;width:151.35pt;"> 从本地复制 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -moveToLocal </td> 
 <td style="vertical-align:top;width:191.35pt;"> -moveToLocal [-crc] &lt;hdfs 源路径&gt; &lt;linux 目的路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 从本地移动 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -mkdir </td> 
 <td style="vertical-align:top;width:191.35pt;"> -mkdir &lt;hdfs 路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 创建空白文件夹 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -setrep </td> 
 <td style="vertical-align:top;width:191.35pt;"> -setrep [-R] [-w] &lt;副本数&gt; &lt;路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 修改副本数量 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -touchz </td> 
 <td style="vertical-align:top;width:191.35pt;"> -touchz &lt;文件路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 创建空白文件 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -stat </td> 
 <td style="vertical-align:top;width:191.35pt;"> -stat [format] &lt;路径&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 显示文件统计信息 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -tail </td> 
 <td style="vertical-align:top;width:191.35pt;"> -tail [-f] &lt;文件&gt; </td> 
 <td style="vertical-align:top;width:151.35pt;"> 查看文件尾部信息 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -chmod </td> 
 <td style="vertical-align:top;width:191.35pt;"> -chmod [-R] &lt;权限模式&gt; [路径] </td> 
 <td style="vertical-align:top;width:151.35pt;"> 修改权限 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -chown </td> 
 <td style="vertical-align:top;width:191.35pt;"> -chown [-R] [属主][:[属组]] 路径 </td> 
 <td style="vertical-align:top;width:151.35pt;"> 修改属主 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -chgrp </td> 
 <td style="vertical-align:top;width:191.35pt;"> -chgrp [-R] 属组名称 路径 </td> 
 <td style="vertical-align:top;width:151.35pt;"> 修改属组 </td> 
 </tr> 
 <tr> 
 <td style="vertical-align:top;width:83.4pt;"> -help </td> 
 <td style="vertical-align:top;width:191.35pt;"> -help [命令选项] </td> 
 <td style="vertical-align:top;width:151.35pt;"> 帮助 </td> 
 </tr> 
 </tbody> 
</table>

注意：以上表格中对于路径，包括 hdfs 中的路径和 linux 中的路径。对于容易产生歧义的地方，会特别指出“linux 路径”或者“hdfs 路径”。如果没有明确指出，意味着是 hdfs 路径。

1.0查看帮助 
hadoop fs -help <cmd> 
1.1上传 
hadoop fs -put <linux上文件> <hdfs上的路径> 
1.2查看文件内容 
hadoop fs -cat <hdfs上的路径> 
1.3查看文件列表 
hadoop fs -ls / 
1.4下载文件 
hadoop fs -get <hdfs上的路径> <linux上文件> 
1.5查看磁盘空间 
hadoop fs -df -h <hdfs上的路径> 
1.6查看目录或目录下文件的大小 
hadoop fs -du -s -h <必须指明是hdfs的路径 hdfs:xxx:9000/，否则会认为是Linux服务器路径> 
1.7创建目录 
hadoop fs -mkdir 
注：不会级联创建文件夹，若是级联文件夹，需要自己创建 
1.8删除没有数据的空目录 
hadoop fs -rmdir <文件名> 
1.9实时刷新看文件尾部 
hadoop fs -tail -f <文件名>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200115173139576.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200115173214731.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200115173248301.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21xaW5nbw==,size_16,color_FFFFFF,t_70