Hadoop HDFS over HTTP

向右看齐 2022-08-17 15:16 142阅读 0赞

# Hadoop HDFS overHTTP-Documentation Sets2.4.1 #

HttpFs是一个提供REST HTTP的方式支持所有的HDFS文件系统操作的方式。它与webhdfsREST HTTP API彼此协作。

HttpFS可以被用来在运行不同版本的Hadoop集群间传递数据（克服了RPC版本不同的问题），例如使用HadoopDistCP工具。

HttpFS可以被用来访问有防火墙的集群中的HDFS（HttpFS服务器扮演一个gateway的角色，只有这个gateway被允许穿过防火墙进入集群）。

HttpFS使用HTTP工具（像curl或者wget）或者其他语言的HTTP类库访问HDFS中的数据。

Webhdfs客户端文件系统可以使用Hadoop文件系统命令行工具（hadoopfs）访问HttpFS，在java 应用程序中可以使用Hadoop文件系统的java API访问。

HttpFS内置了安全机制，支持Hadoop pseudo 验证，HTTP SPNEGO Kerberos 验证，或者其他的可拔插的认证机制。它也提供Hadoop代理用户的支持。

# How does HttpFs works？ #

HttpFS是Hadoop NameNode中一个单独的服务。

HttpFS本身是一个java web应用，它运行在提前配置好的绑定了HttpFs的tomcat的二进制发行版。

HttpFS HTTP web服务是调用HTTPREST，HTTP REST映射到一个HDFS文件系统操作。例如，使用curlUnix命令：

1.      $ curlhttp://httpfs-host:14000/webhdfs/v1/user/foo/README.txt

返回HDFS /user/foo/README.txt文件的内容。

2.      $ curlhttp://httpfs-host:14000/webhdfs/v1/user/foo?op=list

以JSON格式返回HDFS /user/foo目录中的内容。

3.      $ curl -X POSThttp://httpfs-host:14000/webhdfs/v1/user/foo/bar?op=mkdirs

创建HDFS中/user/foo/bar文件夹。

# How HttpFS and Hadoop HDFS Proxydiffer？ #

HttpFS受Hadoop HDFS代理的启发。

HttpFS可以被认为是Hadoop HDFS 代理的完全重写。

Hadoop HDFS代理提供了一部分文件系统的操作（只有读取信息的操作），HttpFS提供了所有文件系统操作的支持。

HttpFS用一个干净的HTTP REST API使其用HTTP工具使用时更直观。

HttpFS支持Hadoop pseudo 认证，Kerberos SPNEGOS 认证和Hadoop代理用户。Hadoop HDFS 代理不支持。

# User and DeveloperDocumentation #

*  [HttpFS Server Setup][]
 *  [Using HTTP Tools][]

[HttpFS Server Setup]: http://hadoop.apache.org/docs/r2.5.0/hadoop-hdfs-httpfs/ServerSetup.html
[Using HTTP Tools]: http://hadoop.apache.org/docs/r2.5.0/hadoop-hdfs-httpfs/UsingHttpTools.html

发表评论取消回复

表情：

评论列表（有 0 条评论，142人围观）

还没有评论，来说两句吧...

相关阅读

相关 hdfs-over-ftp使用说明

hdfs-over-ftp使用说明一、介绍 hdfs-over-ftp可以将hdfs文件系统通过ftp服务方式暴露出来,可以通过ftp客户端下载和上传hadoop文件

雨点打透心脏的1/2处/ 2024年03月31日 16:16/ 0 赞/ 60 阅读

相关 Hadoop HDFS over HTTP 2.4.1 - Server Setup

Hadoop HDFS over HTTP 2.4.1 -Server Setup 本篇文章介绍了如何快速建立一个带Pseudo认证的HttpFS。 Requirem

分手后的思念是犯贱/ 2022年08月17日 15:16/ 0 赞/ 2 阅读

相关 Hadoop HDFS over HTTP 2.4.1 - Using HTTP Tools

Security 开箱即可用的HttpFS既支持pseudo认证，也支持Kerberos HTTP SPNEGO认证。 Pseudo Authentication

傷城~/ 2022年08月17日 15:16/ 0 赞/ 92 阅读

相关 Hadoop HDFS over HTTP

Hadoop HDFS overHTTP-Documentation Sets2.4.1 HttpFs是一个提供REST HTTP的方式支持所有的HDFS文件系统操作的方

向右看齐/ 2022年08月17日 15:16/ 0 赞/ 143 阅读

相关 Hadoop的HDFS

大数据的特点 1.TB,PB类别的数据 2.数据是以高速增长的趋势 3.数据都是半结构化或者非结构化的数据，需要我们存储以及处理成直观的数据 H

青旅半醒/ 2022年07月12日 04:38/ 0 赞/ 189 阅读

相关 Hadoop HDFS原理

1 HDFS的运行机制 HDFS集群中的节点分为两种角色，一种角色负责管理整个集群的元数据，是名称节点（name node）；另一种角色负责存储文件数据块和管理文件数据块，是

向右看齐/ 2022年06月06日 02:21/ 0 赞/ 304 阅读

相关 Hadoop - HDFS

简介 Hadoop Distributed File System，分布式文件系统架构 ![7f6aa8d597c45642984257e7089c7077.p

「爱情、让人受尽委屈。」/ 2022年06月05日 10:46/ 0 赞/ 326 阅读

相关 hadoop-hdfs,java操作hdfs

1.创建一个maven项目引入 1.相关的pom依赖: <dependency> <gro

迷南。/ 2022年05月14日 07:20/ 0 赞/ 336 阅读

相关 hadoop-hdfs

HDFS： HDFS即Hadoop的分布式文件系统，以流式数据访问模式来存储超大文件，运行于商用硬件集群上，是管理网络中跨多台计算机存储的文件系统。 HDFS不适合用在

缺乏、安全感/ 2022年04月10日 04:38/ 0 赞/ 258 阅读

相关 Hadoop HDFS

一、简介 Hadoop Distributed File System，分布式文件系统二、架构 ![hdfs-architecture][] Block数据块

向右看齐/ 2021年10月15日 22:21/ 0 赞/ 405 阅读