Hadoop系列之Hadoop 常用命令(3)

亦凉 2023-01-08 12:22 94阅读 0赞

# Hadoop 常用命令 #

所有的 Hadoop 命令均由 bin/hadoop 脚本引发。不指定参数运行hadoop脚本会打印所有命令的描述。

用法：  
`hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]`

Hadoop 有一个选项解析框架用于解析一般的选项和运行类。

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>—config confdir</td> 
   <td>覆盖缺省配置目录。缺省是${HADOOP_HOME}/conf。</td> 
  </tr> 
  <tr> 
   <td>GENERIC_OPTIONS</td> 
   <td>多个命令都支持的通用选项。</td> 
  </tr> 
  <tr> 
   <td>COMMAND 命令选项</td> 
   <td>各种各样的命令和它们的选项会在下面提到。这些命令被分为用户命令和管理命令两组。</td> 
  </tr> 
 </tbody> 
</table>

## 常规选项 ##

下面的选项被 [dfsadmin][], [fs][], [fsck][]和 [job][]支持。 应用程序要实现 [Tool][] 来支持常规选项。

<table> 
 <thead> 
  <tr> 
   <th>GENERIC_OPTION</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-conf</td> 
   <td>指定应用程序的配置文件。</td> 
  </tr> 
  <tr> 
   <td>-D</td> 
   <td>为指定property指定值value。</td> 
  </tr> 
  <tr> 
   <td>-fs</td> 
   <td>指定namenode。</td> 
  </tr> 
  <tr> 
   <td>-jt</td> 
   <td>指定job tracker。只适用于job。</td> 
  </tr> 
  <tr> 
   <td>-files &lt;逗号分隔的文件列表&gt;</td> 
   <td>指定要拷贝到map reduce集群的文件的逗号分隔的列表。 只适用于job。</td> 
  </tr> 
  <tr> 
   <td>-libjars &lt;逗号分隔的jar列表&gt;</td> 
   <td>指定要包含到classpath中的jar文件的逗号分隔的列表。 只适用于job。</td> 
  </tr> 
  <tr> 
   <td>-archives &lt;逗号分隔的archive列表&gt;</td> 
   <td>指定要被解压到计算节点上的档案文件的逗号分割的列表。 只适用于job。</td> 
  </tr> 
 </tbody> 
</table>

## 用户命令 ##

hadoop 集群用户的常用命令。

### archive ###

创建一个 hadoop 档案文件。参考 [Hadoop Archives][].  
用法：`hadoop archive -archiveName NAME <src>* <dest>`

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-archiveName NAME</td> 
   <td>要创建的档案的名字。</td> 
  </tr> 
  <tr> 
   <td>src</td> 
   <td>文件系统的路径名，和通常含正则表达的一样。</td> 
  </tr> 
  <tr> 
   <td>dest</td> 
   <td>保存档案文件的目标目录。</td> 
  </tr> 
 </tbody> 
</table>

### distcp ###

递归地拷贝文件或目录。参考 [DistCp 指南][DistCp]以获取等多信息。  
用法：`hadoop distcp <srcurl> <desturl>`

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>srcurl</td> 
   <td>源Url</td> 
  </tr> 
  <tr> 
   <td>desturl</td> 
   <td>目标Url</td> 
  </tr> 
 </tbody> 
</table>

### fs ###

用法：`hadoop fs [GENERIC_OPTIONS] [COMMAND_OPTIONS]`

具体的 GENERIC\_OPTIONS 可以参考[官方文档][Link 1]  
运行一个常规的文件系统客户端。  
各种命令选项可以参考[HDFS Shell指南][HDFS Shell]。

### fsck ###

运行 HDFS 文件系统检查工具。参考 [Fsck][] 了解更多。  
用法：

hadoop fsck [GENERIC_OPTIONS] <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td></td> 
   <td>检查的起始目录。</td> 
  </tr> 
  <tr> 
   <td>-move</td> 
   <td>移动受损文件到/lost+found</td> 
  </tr> 
  <tr> 
   <td>-delete</td> 
   <td>删除受损文件。</td> 
  </tr> 
  <tr> 
   <td>-openforwrite</td> 
   <td>打印出写打开的文件。</td> 
  </tr> 
  <tr> 
   <td>-files</td> 
   <td>打印出正被检查的文件。</td> 
  </tr> 
  <tr> 
   <td>-blocks</td> 
   <td>打印出块信息报告。</td> 
  </tr> 
  <tr> 
   <td>-locations</td> 
   <td>打印出每个块的位置信息。</td> 
  </tr> 
  <tr> 
   <td>-racks</td> 
   <td>打印出data-node的网络拓扑结构。</td> 
  </tr> 
 </tbody> 
</table>

### jar ###

运行 jar 文件。用户可以把他们的 Map Reduce 代码捆绑到 jar 文件中，使用这个命令执行。  
用法：`hadoop jar <jar> [mainClass] args...`  
streaming 作业是通过这个命令执行的。参考[Streaming examples][]中的例子。  
Word count 例子也是通过jar命令运行的。参考[Wordcount example][]。

### job ###

用于和 Map Reduce 作业交互和命令。  
用法：

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-submit</td> 
   <td>提交作业</td> 
  </tr> 
  <tr> 
   <td>-status</td> 
   <td>打印map和reduce完成百分比和所有计数器。</td> 
  </tr> 
  <tr> 
   <td>-counter</td> 
   <td>打印计数器的值。</td> 
  </tr> 
  <tr> 
   <td>-kill</td> 
   <td>杀死指定作业。</td> 
  </tr> 
  <tr> 
   <td>-events &lt;#-of-events&gt;</td> 
   <td>打印给定范围内jobtracker接收到的事件细节。</td> 
  </tr> 
  <tr> 
   <td>-history [all] -history</td> 
   <td>打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定[all]选项查看。</td> 
  </tr> 
  <tr> 
   <td>-list [all]</td> 
   <td>-list all显示所有作业。-list只显示将要完成的作业。</td> 
  </tr> 
  <tr> 
   <td>-kill-task</td> 
   <td>杀死任务。被杀死的任务不会不利于失败尝试。</td> 
  </tr> 
  <tr> 
   <td>-fail-task</td> 
   <td>使任务失败。被失败的任务会对失败尝试不利。</td> 
  </tr> 
 </tbody> 
</table>

### pipes ###

运行 pipes 作业。  
用法：

hadoop pipes [-conf <path>] [-jobconf <key=value>, <key=value>, ...] [-input <path>] [-output <path>] [-jar <jar file>] [-inputformat <class>] [-map <class>] [-partitioner <class>] [-reduce <class>] [-writer <class>] [-program <executable>] [-reduces <num>]

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-conf</td> 
   <td>作业的配置</td> 
  </tr> 
  <tr> 
   <td>-jobconf , , …</td> 
   <td>增加/覆盖作业的配置项</td> 
  </tr> 
  <tr> 
   <td>-input</td> 
   <td>输入目录</td> 
  </tr> 
  <tr> 
   <td>-output</td> 
   <td>输出目录</td> 
  </tr> 
  <tr> 
   <td>-jar</td> 
   <td>Jar文件名</td> 
  </tr> 
  <tr> 
   <td>-inputformat</td> 
   <td>InputFormat类</td> 
  </tr> 
  <tr> 
   <td>-map</td> 
   <td>Java Map类</td> 
  </tr> 
  <tr> 
   <td>-partitioner</td> 
   <td>Java Partitioner</td> 
  </tr> 
  <tr> 
   <td>-reduce</td> 
   <td>Java Reduce类</td> 
  </tr> 
  <tr> 
   <td>-writer</td> 
   <td>Java RecordWriter</td> 
  </tr> 
  <tr> 
   <td>-program</td> 
   <td>可执行程序的URI</td> 
  </tr> 
  <tr> 
   <td>-reduces</td> 
   <td>reduce个数</td> 
  </tr> 
 </tbody> 
</table>

### version ###

打印版本信息。  
用法：`hadoop version`

### CLASSNAME ###

hadoop 脚本可用于调用任何类。  
用法：`hadoop CLASSNAME`  
运行名字为 CLASSNAME 的类。

## 管理命令 ##

hadoop 集群管理员常用的命令。

### balancer ###

运行集群平衡工具。管理员可以简单的按 Ctrl-C 来停止平衡过程。参考 [Rebalancer][] 了解更多。  
用法：`hadoop balancer [-threshold <threshold>]`

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-threshold</td> 
   <td>磁盘容量的百分比。这会覆盖缺省的阀值。</td> 
  </tr> 
 </tbody> 
</table>

### daemonlog ###

获取或设置每个守护进程的日志级别。  
用法：

hadoop daemonlog -getlevel <host:port> <name> hadoop daemonlog -setlevel <host:port> <name> <level>

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-getlevel</td> 
   <td>打印运行在的守护进程的日志级别。这个命令内部会连接 http:///logLevel?log=</td> 
  </tr> 
  <tr> 
   <td>-setlevel</td> 
   <td>设置运行在的守护进程的日志级别。这个命令内部会连接 http:///logLevel?log=</td> 
  </tr> 
 </tbody> 
</table>

### datanode ###

运行一个 HDFS 的 datanode。  
用法：`hadoop datanode [-rollback]`

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-rollback</td> 
   <td>将datanode回滚到前一个版本。这需要在停止datanode，分发老的hadoop版本之后使用。</td> 
  </tr> 
 </tbody> 
</table>

### dfsadmin ###

运行一个 HDFS 的 dfsadmin 客户端。  
用法：

hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | leave | get | wait] [-refreshNodes] [-finalizeUpgrade] [-upgradeProgress status | details | force] [-metasave filename] [-setQuota <quota> <dirname>...<dirname>] [-clrQuota <dirname>...<dirname>] [-help [cmd]]

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-report</td> 
   <td>报告文件系统的基本信息和统计信息。</td> 
  </tr> 
  <tr> 
   <td>-safemode [enter / leave / get / wait]</td> 
   <td>安全模式维护命令。安全模式是Namenode的一个状态，这种状态下，Namenode 1. 不接受对名字空间的更改(只读)2. 不复制或删除块Namenode会在启动时自动进入安全模式，当配置的块最小百分比数满足最小的副本数条件时，会自动离开安全模式。安全模式可以手动进入，但是这样的话也必须手动关闭安全模式。</td> 
  </tr> 
  <tr> 
   <td>-refreshNodes</td> 
   <td>重新读取hosts和exclude文件，更新允许连到Namenode的或那些需要退出或入编的Datanode的集合。</td> 
  </tr> 
  <tr> 
   <td>-finalizeUpgrade</td> 
   <td>终结HDFS的升级操作。Datanode删除前一个版本的工作目录，之后Namenode也这样做。这个操作完结整个升级过程。</td> 
  </tr> 
  <tr> 
   <td>-upgradeProgress [status / details / force]</td> 
   <td>请求当前系统的升级状态，状态的细节，或者强制升级操作进行。</td> 
  </tr> 
  <tr> 
   <td>-metasave filename</td> 
   <td>保存Namenode的主要数据结构到hadoop.log.dir属性指定的目录下的文件。对于下面的每一项，中都会一行内容与之对应1. Namenode收到的Datanode的心跳信号2. 等待被复制的块3. 正在被复制的块4. 等待被删除的块</td> 
  </tr> 
  <tr> 
   <td>-setQuota …</td> 
   <td>为每个目录 设定配额。目录配额是一个长整型整数，强制限定了目录树下的名字个数。命令会在这个目录上工作良好，以下情况会报错：1. N不是一个正整数，或者2. 用户不是管理员，或者3. 这个目录不存在或是文件，或者4. 目录会马上超出新设定的配额。</td> 
  </tr> 
  <tr> 
   <td>-clrQuota …</td> 
   <td>为每一个目录清除配额设定。命令会在这个目录上工作良好，以下情况会报错：1. 这个目录不存在或是文件，或者2. 用户不是管理员。如果目录原来没有配额不会报错。</td> 
  </tr> 
  <tr> 
   <td>-help [cmd]</td> 
   <td>显示给定命令的帮助信息，如果没有给定命令，则显示所有命令的帮助信息。</td> 
  </tr> 
 </tbody> 
</table>

### jobtracker ###

运行 MapReduce job Tracker 节点。  
用法：`hadoop jobtracker`

### namenode ###

运行 namenode。  
用法：

hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint]

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-format</td> 
   <td>格式化namenode。它启动namenode，格式化namenode，之后关闭namenode。</td> 
  </tr> 
  <tr> 
   <td>-upgrade</td> 
   <td>分发新版本的hadoop后，namenode应以upgrade选项启动。</td> 
  </tr> 
  <tr> 
   <td>-rollback</td> 
   <td>将namenode回滚到前一版本。这个选项要在停止集群，分发老的hadoop版本后使用。</td> 
  </tr> 
  <tr> 
   <td>-finalize</td> 
   <td>finalize会删除文件系统的前一状态。最近的升级会被持久化，rollback选项将再不可用，升级终结操作之后，它会停掉namenode。</td> 
  </tr> 
  <tr> 
   <td>-importCheckpoint</td> 
   <td>从检查点目录装载镜像并保存到当前检查点目录，检查点目录由fs.checkpoint.dir指定。</td> 
  </tr> 
 </tbody> 
</table>

### secondarynamenode ###

运行 HDFS 的 secondary namenode。  
用法：`hadoop secondarynamenode [-checkpoint [force]] | [-geteditsize]`

<table> 
 <thead> 
  <tr> 
   <th>命令选项</th> 
   <th>描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>-checkpoint [force]</td> 
   <td>如果EditLog的大小 &gt;= fs.checkpoint.size，启动Secondary namenode的检查点过程。 如果使用了-force，将不考虑EditLog的大小。</td> 
  </tr> 
  <tr> 
   <td>-geteditsize</td> 
   <td>打印EditLog大小。</td> 
  </tr> 
 </tbody> 
</table>

### tasktracker ###

运行 MapReduce 的 task Tracker 节点。  
用法：`hadoop tasktracker`

[dfsadmin]: http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#dfsadmin
[fs]: http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#fs
[fsck]: http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#fsck
[job]: http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#job
[Tool]: http://hadoop.apache.org/core/docs/r0.18.2/api/org/apache/hadoop/util/Tool.html
[Hadoop Archives]: http://hadoop.apache.org/docs/r1.0.4/cn/hadoop_archives.html
[DistCp]: http://hadoop.apache.org/docs/r1.0.4/cn/distcp.html
[Link 1]: http://hadoop.apache.org/docs/r1.0.4/cn/commands_manual.html#%E5%B8%B8%E8%A7%84%E9%80%89%E9%A1%B9
[HDFS Shell]: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
[Fsck]: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_user_guide.html#fsck
[Streaming examples]: http://hadoop.apache.org/docs/r1.0.4/cn/streaming.html#%E5%85%B6%E4%BB%96%E4%BE%8B%E5%AD%90
[Wordcount example]: http://hadoop.apache.org/docs/r1.0.4/cn/mapred_tutorial.html#%E7%94%A8%E6%B3%95
[Rebalancer]: http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_user_guide.html#Rebalancer