Offline Edits Viewer Guide

Bertha 。 2022-08-17 15:11 169阅读 0赞

### 综述 ###

Offline Edits Viewer是一个解析Edits日志的工具。实现不同格式的转换，包括可以被人们方便阅读的XML格式和比较容易编辑的二进制格式。

工具可以解析可以解析编辑-18（大约Hadoop 0.19）或更晚的版本。工具只是在文件上运行，可以不需要Hadoop集群启动。

输入的格式包括：

1.二进制：Hadoop内部使用二进制格式

2.xml：XML格式

Offline Edits Viewer提供了几种输出格式（除所述处输出否则转换回原来的编辑文件）：

1.  **binary**:Hadoop内部使用二进制格式
2.  **xml**: XML格式
3.  **stats**: 打印统计数据，不能输出会Edits文件

### 用法 ###

bash$ bin/hdfs oev -i edits -o edits.xml

<table style="padding:0px; width:904px; margin-left:-2px; margin-right:-2px; color:rgb(0,0,0); font-family:Verdana,Helvetica,Arial,sans-serif"> 
 <tbody> 
 <tr style="background-color:rgb(221,221,221)"> 
 <td align="right" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> Flag</td> 
 <td align="left" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> Description</td> 
 </tr> 
 <tr style="background-color:rgb(238,238,238)"> 
 <td align="right" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> [-i&nbsp;;&nbsp;--inputFile]&nbsp;input file</td> 
 <td align="left" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> 必填项，指定edit日志。当扩展名为xml时是xml格式否则为二进制格式。</td> 
 </tr> 
 <tr style="background-color:rgb(221,221,221)"> 
 <td align="right" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> [-o&nbsp;;&nbsp;--outputFile]output file</td> 
 <td align="left" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> 必填项，指定输出文件如果已存在，那么会被重写。</td> 
 </tr> 
 <tr style="background-color:rgb(238,238,238)"> 
 <td align="right" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> [-p&nbsp;;&nbsp;--processor]processor</td> 
 <td align="left" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> 指定运行的解释器，目前允许的选项有binary,&nbsp;xml&nbsp;(默认) 和&nbsp;stats. </td> 
 </tr> 
 <tr style="background-color:rgb(221,221,221)"> 
 <td align="right" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> [-v ; --verbose]</td> 
 <td align="left" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> 打印输入输出文件到控制台和指定的文件，如果比较大，会需要很多时间。</td> 
 </tr> 
 <tr style="background-color:rgb(238,238,238)"> 
 <td align="right" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> [-h ; --help]</td> 
 <td align="left" style="font-family:Verdana,Helvetica,Arial,sans-serif; color:rgb(51,51,51); padding:2px 4px; vertical-align:top"> 显示帮助信息</td> 
 </tr> 
 </tbody> 
</table>

### 案例：集群恢复 ###

在这个案例中，Hadoop的集群和edits文件被损坏，但是至少部分的edits文件是正确的。这可以通过将二进制编辑转换为XML,手动编辑它,然后将它转换为二进制。最常见的问题是,编辑文件丢失closing记录(记录opCode为-1)。这应该可以被工具识别和XML格式应该正确地关闭。

如果在xml文件中没有closing记录你应该在最新的正确的记录后面手动添加一条，任何在opCode为-1后面的记录都是被忽略的。

closing记录的例子：