Apache Hadoop 3.3.0 版本特性介绍

淡淡的烟草味﹌ 2022-12-02 12:19 299阅读 0赞

Apache Hadoop 3.3.0在以前的主要发行版本（hadoop-3.2）上进行了许多重大增强。

# 新特性如下: #

## 1.ARM支持 ##

这是第一个支持ARM体系结构的版本。

## 2.将Protobuf从2.5.0升级到新版本 ##

因为protobuf-2.5.0已经停止更新，Protobuf升级到3.7.1。

## 3.Java 11运行时支持 ##

Java 11运行时支持已完成。

## 4.支持对AuthenticationFilter的模拟 ##

外部服务或YARN服务可能需要根据使用Web协议的用户行为来调用WebHDFS或YARN REST API。最好在AuthenticationFilter或类似的扩展中支持模拟机制。

## 5.s3A增强功能 ##

S3A代码的很多增强功能，包括委托令牌支持，对404缓存的更好处理，S3guard性能，弹性改进

## 6.ABFS增强功能 ##

解决现场出现的问题并调整需要调整的内容，并在适当的地方添加更多测试。改善文档，尤其是故障排除。

## 7.HDFS RBF稳定 ##

HDFS Router现在支持安全性。还包含许多错误修复和改进。

## 8.在HDFS缓存指令中支持非易失性存储类内存（SCM）。 ##

旨在首先在读取缓存中启用存储类内存。尽管存储类内存具有非易失性特征，但是为了保持与当前只读缓存相同的行为，目前不使用其持久性特征。

## 9.YARN应用程序的应用程序目录。 ##

应用程序目录系统，为YARN应用程序提供编辑和搜索界面。这提高了YARN在管理应用程序生命周期中的可用性。

## 10.整合腾讯云COS文件系统实施 ##

腾讯云是中国市场上排名第二的云供应商，对象存储COS已在中国云用户中广泛使用。该任务实现了一个COSN文件系统，以在Hadoop中本地支持腾讯云COS。

## 11.机会容器的调度 \[scheduling of opportunistic container\] ##

通过中心RM（YARN-5220），分布式调度（YARN-2877）以及基于实际节点利用率（YARN-1011）和容器提升/降级（YARN-5085）的容器调度来调度机会容器）。

官方原文: [https://hadoop.apache.org/docs/r3.3.0/][https_hadoop.apache.org_docs_r3.3.0]

[https_hadoop.apache.org_docs_r3.3.0]: https://hadoop.apache.org/docs/r3.3.0/

发表评论取消回复

表情：

评论列表（有 0 条评论，299人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop-Apache Hadoop大数据解决方案的整体介绍

一大数据价值和当前主要应用 1. 大数据的价值当前全球数据的生产速度急剧加快，海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理，为此急需有一

电玩女神/ 2024年04月08日 09:07/ 0 赞/ 32 阅读

相关 JS--介绍/版本/特性

原文网址：[JS--介绍/版本/特性\_IT利刃出鞘的博客-CSDN博客][JS--_IT_-CSDN] JavaScript、ES5、ES6、TypeScript 其

- 日理万妓/ 2022年12月27日 14:21/ 0 赞/ 74 阅读

相关 Apache Hadoop 3.3.0 版本特性介绍

Apache Hadoop 3.3.0在以前的主要发行版本（hadoop-3.2）上进行了许多重大增强。新特性如下: 1.ARM支持这是第一个支持ARM体系结

淡淡的烟草味﹌/ 2022年12月02日 12:19/ 0 赞/ 300 阅读

相关 Hadoop-HDFS2.X新特性介绍

HDFS2.X新特性集群间的数据拷贝 1、scp 实现两个远程主机之间的文件复制； 2、采用 distcp 命令实现两个 Hadoop 集群之间的递归数据复制

深藏阁楼爱情的钟/ 2022年10月11日 15:53/ 0 赞/ 141 阅读

相关 Apache顶级项目介绍4 － Hadoop

![Center][] 大象起舞，天下太平，极客们应该知道我们的重量级人物Hadoop登场了。提到Hadoop, 正所谓饮水思源，我们不得不提及一下Had

港控/mmm°/ 2022年07月24日 11:08/ 0 赞/ 200 阅读

相关 Hadoop3.0版本新特性

Hadoop 2.0是基于JDK 1.7开发的，而JDK 1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK 1.8重新发布一个新的Hadoop版本，而这正

偏执的太偏执、/ 2022年05月27日 06:18/ 0 赞/ 181 阅读

相关 Apache顶级项目介绍4 - Hadoop

![Center][] 大象起舞，天下太平，极客们应该知道我们的重量级人物Hadoop登场了。提到Hadoop, 正所谓饮水思源，我们不得不提及一下Hadoop之父

超、凢脫俗/ 2022年04月11日 05:27/ 0 赞/ 444 阅读

相关 JDK各版本特性介绍

Java 9 [Java9 新特性详解][Java9 _] 目录结构 repl工具 jShell命令模块化多版本兼容jar包接口方

淡淡的烟草味﹌/ 2022年02月24日 03:52/ 0 赞/ 276 阅读

相关 Hadoop 3.x版本增添特性--纠删码介绍

在hadoop 3.0版本中增添了一些新的特性,比如NameNode联邦,纠删码,yarn时间线服务等。纠删码可以将HDFS的存储开销降低约50%，同时与三分本策略一样

曾经终败给现在/ 2021年11月27日 02:14/ 0 赞/ 312 阅读

相关 hadoop 3.0新特性简单介绍

过去十年，Apache Hadoop从无到有，从理论概念演变到如今支撑起若干的生产集群。接下来的十年，Hadoop将继续壮大，并发展支撑新一轮的更大规模、高效和稳定的集

喜欢ヅ旅行/ 2021年11月24日 01:01/ 0 赞/ 335 阅读