Hadoop入门进阶步步高（二）-目录介绍

阳光穿透心脏的1/2处 2022-08-23 14:52 146阅读 0赞

# 二、Hadoop目录结构 #

这里重点介绍几个目录bin、conf及lib目录。

## 1、$HADOOP\_HOME/bin目录 ##

<table> 
 <tbody> 
 <tr> 
 <td>文件名称</td> 
 <td>说明</td> 
 </tr> 
 <tr> 
 <td>hadoop</td> 
 <td>用于执行hadoop脚本命令，被hadoop-daemon.sh调用执行，也可以单独执行，一切命令的核心</td> 
 </tr> 
 <tr> 
 <td>hadoop-config.sh</td> 
 <td>Hadoop的配置文件</td> 
 </tr> 
 <tr> 
 <td>hadoop-daemon.sh</td> 
 <td>通过执行hadoop命令来启动/停止一个守护进程(daemon)。该命令会被bin目录下面所有以“start”或“stop”开头的所有命令调用来执行命令，hadoop-daemons.sh也是通过调用hadoop-daemon.sh来执行优命令的，而hadoop-daemon.sh本身由是通过调用hadoop命令来执行任务。</td> 
 </tr> 
 <tr> 
 <td>hadoop-daemons.sh</td> 
 <td>通过执行hadoop命令来启动/停止多个守护进程(daemons)，它也是调用hadoop-daemon.sh来完成的。</td> 
 </tr> 
 <tr> 
 <td>rcc</td> 
 <td>The&nbsp;Hadoop&nbsp;record&nbsp;compiler</td> 
 </tr> 
 <tr> 
 <td>slaves.sh</td> 
 <td>该命令用于向所有的slave机器上发送执行命令</td> 
 </tr> 
 <tr> 
 <td>start-all.sh</td> 
 <td>全部启动，它会调用start-dfs.sh及start-mapred.sh</td> 
 </tr> 
 <tr> 
 <td>start-balancer.sh</td> 
 <td>启动balancer</td> 
 </tr> 
 <tr> 
 <td>start-dfs.sh</td> 
 <td>启动Namenode、Datanode及SecondaryNamenode</td> 
 </tr> 
 <tr> 
 <td>start-jobhistoryserver.sh</td> 
 <td>启动Hadoop任务历史守护线程，在需要执行历史服务的机器上执行该命令。原文：Start&nbsp;hadoop&nbsp;job&nbsp;history&nbsp;daemons.&nbsp;&nbsp;Run&nbsp;this&nbsp;on&nbsp;node&nbsp;where&nbsp;history&nbsp;server&nbsp;need&nbsp;to&nbsp;run</td> 
 </tr> 
 <tr> 
 <td>start-mapred.sh</td> 
 <td>启动MapReduce</td> 
 </tr> 
 <tr> 
 <td>stop-all.sh</td> 
 <td>全部停止，它会调用stop-dfs.sh及stop-mapred.sh</td> 
 </tr> 
 <tr> 
 <td>stop-balancer.sh</td> 
 <td>停止balancer</td> 
 </tr> 
 <tr> 
 <td>stop-dfs.sh</td> 
 <td>停止Namenode、Datanode及SecondaryNamenode</td> 
 </tr> 
 <tr> 
 <td>stop-jobhistoryserver.sh</td> 
 <td>停止Hadoop任务历史守护线程</td> 
 </tr> 
 <tr> 
 <td>stop-mapred.sh</td> 
 <td>停止MapReduce</td> 
 </tr> 
 <tr> 
 <td>task-controller</td> 
 <td>任务控制器，这不是一个文本文件，没有被bin下面的shell调用</td> 
 </tr> 
 </tbody> 
</table>

## 2、$HADOOP\_HOME/conf目录 ##

<table> 
 <tbody> 
 <tr> 
 <td>文件名称</td> 
 <td>说明</td> 
 </tr> 
 <tr> 
 <td>capacity-scheduler.xml</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>configuration.xsl</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>core-site.xml</td> 
 <td>Hadoop核心全局配置文件，可以其它配置文件中引用该文件中定义的属性，如在hdfs-site.xml及mapred-site.xml中会引用该文件的属性。该文件的模板文件存在于$HADOOP_HOME/src/core/core-default.xml，可将模板文件拷贝到conf目录，再进行修改。</td> 
 </tr> 
 <tr> 
 <td>fair-scheduler.xml</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>hadoop-env.sh</td> 
 <td>Hadoop环境变量</td> 
 </tr> 
 <tr> 
 <td>hadoop-metrics2.properties</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>hadoop-policy.xml</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>hdfs-site.xml</td> 
 <td>HDFS配置文件，该模板的属性继承于core-site.xml。该文件的模板文件存在于$HADOOP_HOME/src/hdfs/hdfs-default.xml，可将模板文件拷贝到conf目录，再进行修改。</td> 
 </tr> 
 <tr> 
 <td>log4j.properties</td> 
 <td>Log4j的日志属于文件</td> 
 </tr> 
 <tr> 
 <td>mapred-queue-acls.xml</td> 
 <td>MapReduce的队列</td> 
 </tr> 
 <tr> 
 <td>mapred-site.xml</td> 
 <td>MapReduce的配置文件，该模板的属性继承于core-site.xml。该文件的模板文件存在于$HADOOP_HOME/src/mapred/mapredd-default.xml，可将模板文件拷贝到conf目录，再进行修改。</td> 
 </tr> 
 <tr> 
 <td>masters</td> 
 <td>用于设置所有secondaryNameNode的名称或IP，每一行存放一个。如果是名称，那么设置的secondaryNameNode名称必须在/etc/hosts有ip映射配置。</td> 
 </tr> 
 <tr> 
 <td>slaves</td> 
 <td>用于设置所有slave的名称或IP，每一行存放一个。如果是名称，那么设置的slave名称必须在/etc/hosts有ip映射配置。</td> 
 </tr> 
 <tr> 
 <td>ssl-client.xml.example</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>ssl-server.xml.example</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>taskcontroller.cfg</td> 
 <td>&nbsp;</td> 
 </tr> 
 <tr> 
 <td>task-log4j.properties</td> 
 <td>&nbsp;</td> 
 </tr> 
 </tbody> 
</table>

## 3、$HADOOP\_HOME/lib目录 ##

存放的是Hadoop运行时依赖的的jar包，Hadoop在执行的时候会把lib目录下面的jar全部加到classpath中。如果不想通过HADOOP\_CLASSPATH指定自己的JAR文件所在路径，可以把计算需要用的jar全部都拷贝到lib目录中。