Hadoop Meetup 现场直播

Myth丶恋晨 2021-11-01 09:10 260阅读 0赞

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg]

自2006年诞生以来，Hadoop技术与社区已走过了13个年头，在经历了大数据技术高速发展之后，迎来了3.x时代。Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地？有哪些新方向值得关注？Hadoop技术社区又将走向何方？

今天，Hadoop将首次在中国组织Meetup，为你揭晓大数据Hadoop技术与社区发展的Roadmap。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 1]

时间地点

时间：2019年8月10日  10:00

地点：北京希格玛大厦 小剧场

活动议程

09:40-10:00  签到&自由交流

10:00-10:20  Hadoop社区与技术RoadMap分享

10:20-10:50  DevOps Ozone：Hadoop原生对象存储探秘

10:55-11:25  YARN3.x in Alibaba

13:30-14:10  Hadoop Submarine：跨平台的一站式机器学习平台

14:15-18:30  Hadoop在滴滴、小米、美团、头条以及京东的落地实践

讲师议题

Hadoop社区与技术发展RoadMap

Hadoop的 3.x时代，有哪些方向值得关注？Hadoop技术社区又走向何方？本次分享将为你揭晓大数据Hadoop技术与社区发展的Roadmap。

*嘉宾：堵俊平*

腾讯TEG数据平台部海量存储与计算研发负责人，腾讯开源联盟主席，开源管理委员会委员。Apache Member, Hadoop PMC & Committer, Hadoop社区负责人之一。

*嘉宾：谭望达*

Cloudera计算平台研发负责人，管理Kubernetes、Hadoop YARN相关的全球研发团队。在开源领域，是Apache Hadoop 项目管理委员会委员，Hadoop社区负责人之一。

Ozone：Hadoop原生对象存储探秘

Ozone是由Hadoop社区新发起的一个强一致性分布式对象存储服务。Ozone 拥有和HDFS一样的可靠性，一致性和可用性，支持S3 接口，不仅适用于on-premise 大数据环境，同时也是大数据上云，云端存储的一个很好的选择。本次分享介绍Ozone的构架，和将要发布的0.5版本的新特性。

*嘉宾：Anu Enginner*

Cloudera PrincipleEngineer，Apache HadoopCommitter & PMC member， Apache Ratis Committer& PMC Member。

*嘉宾：陈怡*

腾讯大数据工程师， Apache Hadoop Committer & PMC member， 专注于大数据存储领域。

YARN3.x in Alibaba

阿里集团内部Hadoop生态的基本情况和YARN3.x上线新特性的应用场景与效果，分享阿里在调度、抢占、资源超卖、作业诊断、在离线混部等方面做出的一些改进和探索，介绍Flink基于YARN特性实现的功能及其应用场景。

*嘉宾：杨弢*

2014年加入阿里，目前在计算平台事业部任职技术专家，专注于YARN和Flink资源调度方向，今年7月成为Hadoop Committer。

Hadoop Submarine：跨平台的一站式机器学习平台

机器学习系统是一个涵盖了数据处理、特征工程、交互式算法开发和调试、模型训练、在线服务、模型管理等的复杂软件。Hadoop社区发起的Submarine 项目的目标是围绕Notebook 的交互式方式完成上述主要过程，让开发者无需关心复杂的底层基础设施（Docker、YARN、K8s或者混合部署环境），像在本地一样方便的使用。且在这个过程中提供极简易用的用户体验。在该演讲中将介绍Submarine这个项目的现状，并通过演示来加深你的了解。

*嘉宾：汤占坤*

Cloudera软件工程师，也是Apache Hadoop社区的committer。曾经参与领导了在YARN上支持GPU和FPGA，插件式的自定义资源框架以及GPU拓扑感知调度算法等。

YuniKorn-可适配YARN和Kubernetes的新一代轻量级资源调度器

YuniKorn是一个经过全新设计的轻量级的分布式系统资源调度器，能够比较容易的集成到YARN或者Kubernetes里面，以承担资源调度的职责。为了讲调度器本身与资源管理平台(如YARN和Kubernetes)解耦，YuniKorn抽象了一层通用的调度器协议接口；而调度核心算法封装在yunikorn-core组件中，实现了经典的层级调度队列，公平调度，弹性的容量管控以及细粒度的强占等特性；yunikorn-core通过寄宿在资源管理平台上的shim层来获得请求的更新，派发调度的决策，而所有的沟通都是使用scheduler-interface。这样，yunikorn-core中没有任何与特定平台相关的语言，可以轻松的与各类平台集成。

YuniKorn的诞生是为了解决通用的调度问题，其中既包含离线批处理任务，也包含在线长运行的任务。通过将各类型任务调度到同一平台，以解决资源利用率不足以及管理低效等问题。除此以外，YuniKorn还提供了用于显示集群资源信息，作业信息以及队列信息的统一视图web UI。

*嘉宾：杨巍威*

Cloudera资深软件工程师，Apache Hadoop的committer和PMC成员。一直专注于大规模分布式系统的存储以及调度系统设计，在Hadoop的HDFS和YARN上都有大量的贡献。近几年主要工作在基于YARN的离线调度、在离线混部、超卖等相关特性的开发。在加入Cloudera之前，曾在阿里巴巴实时计算平台任职，也曾是IBM大数据项目的早期成员之一。

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 2]

![640?wx\_fmt=jpeg][640_wx_fmt_jpeg 3]

[640_wx_fmt_jpeg]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/W7W9IgARmGicVkibdwqAicz0JjFowLiaOwUOBpZUoAMpk8ZMmASwIPoRuAUaFnTdIJiahiblPtDQdVZquxuy4qE7x1Ow/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 1]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/W7W9IgARmGicVkibdwqAicz0JjFowLiaOwUOVmhQHibgoHzcKfjhUgHvszicicxeibeFsYqichguhysyUbe9Hb9vnY8NBcw/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 2]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/W7W9IgARmGicVkibdwqAicz0JjFowLiaOwUOcwS3aRGiblt3ACrOht8k73l58IZPx6JlibmeXONK15hoCISEDQ57DMicQ/640?wx_fmt=jpeg
[640_wx_fmt_jpeg 3]: https://ss.csdn.net/p?https://mmbiz.qpic.cn/mmbiz_jpg/W7W9IgARmG9lc2ibc1WkVMyJbFo51v9KtHxJpxTDgomz88lSZleYkibe5hpib0sRUCvubTXjzKG4AePuoeHiaEXoyg/640?wx_fmt=jpeg