2.Hadoop Shell命令大全

比眉伴天荒 2022-03-08 15:20 230阅读 0赞

**1.Hadoop Shell命令**

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>详解</th> 
   <th>示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>cat</td> 
   <td>将路径指定文件的内容输出到stdout</td> 
   <td><code>hadoop fs -cat /hello.txt</code></td> 
  </tr> 
  <tr> 
   <td>chgrp</td> 
   <td>改变文件所属的组。使用-R将使改变在目录结构下递归进行</td> 
   <td><code>hadoop fs -chgrp uaren /wxt</code></td> 
  </tr> 
  <tr> 
   <td>chmod</td> 
   <td>改变文件的权限。使用-R将使改变在目录结构下递归进行</td> 
   <td><code>hadoop fs -chmod 775 /wxt</code></td> 
  </tr> 
  <tr> 
   <td>chown</td> 
   <td>改变文件的拥有者。使用-R将使改变在目录结构下递归进行</td> 
   <td><code>hadoop fs -chown uaren /wxt</code></td> 
  </tr> 
  <tr> 
   <td>copyFromLocal/put</td> 
   <td>上传文件到HDFS</td> 
   <td><code>hadoop fs -copyFromLocal &lt;src&gt;，&lt;dest&gt;</code></td> 
  </tr> 
  <tr> 
   <td>copyToLocal/get</td> 
   <td>下载文件</td> 
   <td><code>hadoop fs -copyToLocal &lt;src&gt;，&lt;dest&gt;</code></td> 
  </tr> 
  <tr> 
   <td>du</td> 
   <td>显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小；-du -s显示文件大小</td> 
   <td><code>hadoop fs -du /yrz</code></td> 
  </tr> 
  <tr> 
   <td>ls</td> 
   <td>查看hdfs目录信息 ；-ls -R 递归显示目录信息</td> 
   <td><code>hadoop fs -ls /wxt</code></td> 
  </tr> 
  <tr> 
   <td>moveFromLocal</td> 
   <td>从本地剪切文件到HDFS上</td> 
   <td><code>hadoop fs -moveFromLocal &lt;src&gt;，&lt;dest&gt;</code></td> 
  </tr> 
  <tr> 
   <td>mv</td> 
   <td>在HDFS目录中移动文件</td> 
   <td><code>hadoop fs -mv &lt;src&gt;， &lt;dest&gt;</code></td> 
  </tr> 
  <tr> 
   <td>rm</td> 
   <td>除指定的文件。只删除非空目录和文件 -rm -R 递归删除</td> 
   <td><code>hadoop fs -rm &lt;src&gt;</code></td> 
  </tr> 
  <tr> 
   <td>appendToFile</td> 
   <td>追加文件，追加hello.txt到words.txt之前</td> 
   <td><code>hadoop fs -appendToFile ~/hello.txt /aa/words.txt</code></td> 
  </tr> 
  <tr> 
   <td>tail</td> 
   <td>将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致</td> 
   <td><code>hadoop fs -tail /yrz/hadoop-redis01.log</code></td> 
  </tr> 
  <tr> 
   <td>test</td> 
   <td>-e 检查文件是否存在。如果存在则返回0。-z 检查文件是否是0字节。如果是则返回0。 -d 如果路径是个目录，则返回1，否则返回0。</td> 
   <td><code>hadoop fs -test -[ezd] &lt;src&gt;</code></td> 
  </tr> 
 </tbody> 
</table>

> hadoop fs \*\* 也可以使用hdfs dfs \*\*代替

**2.查看集群状态**

$ hdfs dfsadmin -report

**2.hadoop安全模式**

# 查看安全模式
    $ hdfs dfsadmin -safemode get  
    
    # 关闭安全模式
    $ hdfs dfsadmin -safemode leave