访问HDFS常见的客户端

淡淡的烟草味﹌ 2023-10-06 18:43 59阅读 0赞

#### 目录 ####

*  1.HDFS Shell Command
 *  2.Java API
 *  3.C API libhdfs
 *  4.其它访问HDFS的方式
 *   *  4.1.WebHDFS
     *  4.2.HttpFS
     *  4.3.WebHDFS和HttpFS之间区别

**访问HDFS常见的客户端有HDFS Shell Command、Java API、C API libhdfs等等。**

## 1.HDFS Shell Command ##

HDFS Shell Command的操作俗称HDFS命令行操作，其命令类似于Linux的shell对文件的操作，许多命令也与其相似，例如ls、mkdir、rm等等。其命令格式如下：hadoop fs < args >或hdfs dfs < args >。  
更多命令的使用可以参考[《HDFS——入门介绍》][HDFS]这篇文章中的HDFS的Shell命令。

## 2.Java API ##

HDFS Java API是大数据开发中经常使用的HDFS操作方式之一，它提供了使用Java代码去操作访问HDFS的能力。有关其具体细节可以参考[使用Java API访问HFDS][Java API_HFDS]这篇文章。

## 3.C API libhdfs ##

libhdfs是用于HDFS的基于JNI的C API，它支持C语言客户端，可以用来操纵HDFS文件以及文件系统。此外，libhdfs是Hadoop发行版中的一部分，它已经预编译在$\{HADOOP\_HOME\}/libhdfs/libhdfs.so中，可以直接使用。

## 4.其它访问HDFS的方式 ##

如果Hadoop集群外的一台主机作为客户端访问HDFS，在没有Hadoop和Java环境的情况下，可以通过WebHDFS和HttpFS来访问。

### 4.1.WebHDFS ###

**（1）WebHDFS概述**

*  WebHDFS 提供了访问HDFS的RESTful接口，内置组件，默认是开启的。
 *  WebHDFS 使得集群外的客户端可以不用安装HADOOP和JAVA环境就可以对HDFS进行访问，且客户端不受语言限制。
 *  当客户端请求某文件时，WebHDFS会将其重定向到该资源所在的DataNode。
 *  经常使用的HDFS Web UI，其文件浏览功能底层就是基于WebHDFS来操作HDFS实现的。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzAwNDA0NA_size_16_color_FFFFFF_t_70]

**（2）基于RESTful的HDFS API——WebHDFS**

*  WebHDFS的文件系统schema为webhdfs://  
    URL格式为：**webhdfs://< HOST >:< HTTP\_PORT>/< PATH>**  
    效果相当于： **hdfs://< HOST>:< RPC\_PORT>/< PATH>**
 *  在RESTful风格的API中，相应的HTTP URL格式：**http://< HOST>:< HTTP\_PORT>/webhdfs/v1/< PATH>?op=…**  
    有关HTTP RESTful API参数op的详细介绍可以参考[此官网][Link 1]。

**（3）应用举例**  
目标：查看/source/weibo/目录下的所有文件以及目录，相当于hadoop fs -ls /  
请求URL：**http://node1:9870/webhdfs/v1/source/weibo?op=LISTSTATUS**  
结果以json格式返回：  
![在这里插入图片描述][73eb830254524aa2be398a2afc3adfe7.png]

### 4.2.HttpFS ###

**（1）HttpFS概述**

*  HttpFS 是一个提供RESTful 接口的网关的服务器，该网关支持所有HDFS文件系统操作。
 *  对于文件CURD的操作全部提交给HttpFS服务进行中转，然后由HttpFS去跟HDFS集群交互。
 *  HttpFS是一个独立于HDFS的服务，如果使用需要手动安装。  
    ![在这里插入图片描述][63c14f34d72e43189b4a3fa393a356e3.png]

**（2）HttpFS工作原理**

*  HttpFS本身是Java Web应用程序，使用内置的Jetty服务器对外提供服务。
 *  HttpFS是一个独立于HDFS的服务，其本质上是一个代理服务。
 *  HttpFS API的底层通过是映射到HDFS的HTTP RESTful API调用实现的。
 *  HttpFS默认端口号为14000。

**（3）配置HttpFS**  
（3.1）在hadoop安装目录下/etc/hadoop/的core-site.xml文件中添加以下配置：

<property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

（3.2）同步配置文件到集群中的其他节点，并且重启HDFS集群  
（3.3）启动HttpFS服务命令为：**hdfs --daemon start httpfs**  
若启动成功，在使用jps命令后可以查看到其端口号以及对应的HttpFSServerWebServer。（注：将启动命令中的start改为stop后即为关闭命令）

**（4）HttpFS的默认服务**

<table> 
 <thead> 
  <tr> 
   <th>Name</th> 
   <th>Description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>/conf</td> 
   <td>Display configuration properties</td> 
  </tr> 
  <tr> 
   <td>/jmx</td> 
   <td>Java JMX management interface</td> 
  </tr> 
  <tr> 
   <td>/logLevel</td> 
   <td>Get or set log level per class</td> 
  </tr> 
  <tr> 
   <td>/logs</td> 
   <td>Display log files</td> 
  </tr> 
  <tr> 
   <td>/stacks</td> 
   <td>Display JVM stacks</td> 
  </tr> 
  <tr> 
   <td>/static/index.html</td> 
   <td>The static homepage</td> 
  </tr> 
 </tbody> 
</table>

**（5）应用举例**

*  访问HttpFS首页：**http://node1:14000/static/index.html**  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzAwNDA0NA_size_16_color_FFFFFF_t_70 1]
 *  查看/source/weibo/目录下的所有文件以及目录：**http://node1:14000/webhdfs/v1?user.name=root&op=LISTSTATUS**  
    ![在这里插入图片描述][44a7f4def75e4ec6b1bf4dbb576cc3bf.png]

### 4.3.WebHDFS和HttpFS之间区别 ###

<table> 
 <thead> 
  <tr> 
   <th>WebHDFS</th> 
   <th>HttpFS</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HDFS内置、默认是开启的</td> 
   <td>独立服务，需要手动开启</td> 
  </tr> 
  <tr> 
   <td>重定向到资源所在的DataNode</td> 
   <td>数据先传输到该HttpFS server，再由其传输到client</td> 
  </tr> 
  <tr> 
   <td>客户端和NameNode、DataNode交互</td> 
   <td>客户端不跟HDFS直接交互，需要HttpFS服务进行中转</td> 
  </tr> 
  <tr> 
   <td>端口默认值为9870</td> 
   <td>端口默认值为14000</td> 
  </tr> 
 </tbody> 
</table>

[HDFS]: https://blog.csdn.net/weixin_43004044/article/details/118856609
[Java API_HFDS]: https://blog.csdn.net/weixin_43004044/article/details/119108029
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzAwNDA0NA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/c2290f2ece174500a4d4e14018d8cf8e.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzAwNDA0NA==,size_16,color_FFFFFF,t_70
[Link 1]: https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Open_and_Read_a_File
[73eb830254524aa2be398a2afc3adfe7.png]: https://img-blog.csdnimg.cn/73eb830254524aa2be398a2afc3adfe7.png
[63c14f34d72e43189b4a3fa393a356e3.png]: https://img-blog.csdnimg.cn/63c14f34d72e43189b4a3fa393a356e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzAwNDA0NA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/5b32cb8ca7d94c288cc7e42b19414fbb.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzAwNDA0NA==,size_16,color_FFFFFF,t_70
[44a7f4def75e4ec6b1bf4dbb576cc3bf.png]: https://img-blog.csdnimg.cn/44a7f4def75e4ec6b1bf4dbb576cc3bf.png