Hadoop HDFS常用命令

冷不防 2022-04-13 05:42 227阅读 0赞

<table style="width:664px;"> 
 <tbody> 
  <tr> 
   <td>hadoop fs -cat URI [URI …]</td> 
   <td>查看文件内容</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -copyFromLocal &lt;localsrc&gt; URI</td> 
   <td>本地文件上传到hdfs，和<a href="http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#putlink" rel="nofollow"><strong>put</strong></a>命令相似</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -copyToLocal [-ignorecrc] [-crc] URI &lt;localdst&gt;</td> 
   <td>hdfs文件下载到本地，和<a href="http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html#getlink" rel="nofollow"><strong>get</strong></a>命令类似</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -cp URI [URI …] &lt;dest&gt;</td> 
   <td>将文件从源路径复制到目标路径</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -dus &lt;args&gt;</td> 
   <td>显示文件的大小</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -expunge</td> 
   <td>清空回收站</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -get /user/hadoop/file localfile</td> 
   <td>复制文件到本地文件系统</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -getmerge &lt;src&gt; &lt;localdst&gt; [addnl]</td> 
   <td>接受一个源目录和一个目标文件作为输入</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -ls &lt;args&gt;</td> 
   <td>列出文件下的内容</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -mkdir &lt;paths&gt;&nbsp;</td> 
   <td>创建目录</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -mv URI [URI …] &lt;dest&gt;</td> 
   <td>将文件从源路径移动到目标路径</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -put &lt;localsrc&gt; ... &lt;dst&gt;</td> 
   <td>从本地文件系统中复制单个或多个源路径到目标文件系统</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -rm URI [URI …]</td> 
   <td>删除指定的文件</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -stat URI [URI …]</td> 
   <td>返回指定路径的统计信息</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -tail [-f] URI</td> 
   <td>将文件尾部1K字节的内容输出到stdout</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -test -[ezd] URI</td> 
   <td>-e 检查文件是否存在。如果存在则返回0。<br> -z 检查文件是否是0字节。如果是则返回0。&nbsp;<br> -d 如果路径是个目录，则返回1，否则返回0。</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -text &lt;src&gt;</td> 
   <td>将源文件输出为文本格式</td> 
  </tr> 
  <tr> 
   <td>hadoop fs -touchz URI [URI …]</td> 
   <td>创建一个0字节的空文件</td> 
  </tr> 
 </tbody> 
</table>

## 1.文件操作 ##

(1) 列出HDFS下的文件

/后面可以接具体目录，不接目录则表示获取下面的所有文件
    hadoop fs -ls /

![20181127175847430.png][](2) 上传文件

将本地 /usr/local/java/ 目录下面的jdk 上传到hadoop根目录下
    hadoop fs -put /usr/local/java/jdk-8u191-linux-x64.tar.gz /

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70][]

(3) 文件下载到本地系统中

把刚刚上传到hadoop的jdk下载到本地 /usr/tmp 目录下
    首先 cd /usr/tmp
    hadoop fs -get /jdk-8u191-linux-x64.tar.gz

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 1][]

(4) 创建文件夹

在hadoop根目录下创建一个java文件夹
    hadoop fs –mkdir /java
    如果不加 / 则默认的目录是在/user/root下
    hadoop fs -mkdir -p java 则生成的路径为/user/root/java

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 2][]

(5) 创建空文件

在刚刚新建的java文件夹里面新建一个test.txt文件
    hadoop fs -touchz /java/test.txt

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 3][]

(6) 重命名文件

把刚刚新建的test.txt文件重命名为hello.text
    hadoop fs -mv /java/test.txt /java/hello.text

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 4][]

(7) 打开文件

打开刚刚新建的hello.text文件
    hadoop fs -cat /java/hello.txt
    或者
    hadoop fs -text /java/hello.txt

(8) 删除文件

删除/java目录下的hello.text文件
    hadoop fs -rm /java/hello.text

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 5][]

(9) 删除整个文件夹

删除/java目录，删除其中的所有文件
    hadoop fs -rm -r /java

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 6][]

(10) 复制文件

把/java/test.txt 文件复制到/user目录下面
    hadoop fs -cp /java/test.txt /user

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 7][]

(11) 显示文件大小

显示test.txt文件大小
    hadoop fs -du /java/test.txt

[20181127175847430.png]: /images/20220413/d054ac715bd9437aa3507648b6d5df7f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70]: /images/20220413/8f7c794ab9b3474386f66b4371ac2a49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 1]: /images/20220413/226cfc46783e41529c74a734ca2b7583.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 2]: /images/20220413/0647a321c2bb4dce973eb9023859edfc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 3]: /images/20220413/8efac7e51e9641128ea1823ec86212f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 4]: /images/20220413/22c557d7ad4443c380436eff28f17214.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 5]: /images/20220413/2fd5d9de98bb4b8b990efa85f2da3305.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 6]: /images/20220413/bbd6c3eb25804e9394af1562b4e4d5c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3p4bDY0NjgwMTkyNA_size_16_color_FFFFFF_t_70 7]: /images/20220413/c5f0ae0b4c894470b393e51ecc3992db.png