开源大数据周刊-第90期

ゝ一纸荒年。 2022-04-25 00:00 157阅读 0赞

# 资讯 #

*  [SparkSummit北美站6月4~6号举办][SparkSummit_6_4_6]
    
        一年一度的Spark Summit 2018近日如期在美国旧金山举行，今年的主题是Spark+AI。
 *  [Elasticsearch 6.3 发布，你们要的SQL功能来了][Elasticsearch 6.3 _SQL]
    
        Elasticsearch 6.3正式发布，其中带来了很多新特性，这个版本最大的亮点莫过于内置支持SQL模块，本文将简单介绍如何在Elasticsearch中使用 SQL。
 *  [Tableau 收购人工智能初创公司 Empirical Systems][Tableau _ Empirical Systems]
    
        如今各云服务供应商开始为客户提供更多选择，包括遍布全球各地的主机、更多虚拟化实例配置以及工作负载优化机制，同时亦推出了更多对云环境内数据进行管理与分析的选项。文章分析了 IaaS公有云市场在2017年又将迎来哪些转变。
 *  [Netflix开源新作：大数据发现服务框架Metacat][Netflix_Metacat]
    
        Netflix大数据平台的核心架构涉及三项关键服务：执行服务（Genie）、元数据服务和事件服务。这些想法并非Netflix所独有，在构建一个能够满足现在及未来规模的数据基础设施时，就需要这样的架构。其他拥有大量分布式数据集的公司也面临着类似挑战。Apache Atlas、Twitter的数据抽象层和Linkedin的WhereHows（Linkedin的数据发现服务）等等，都是为了解决类似问题而构建的，只是他们都有各自的架构选择。

# 技术 #

*  [6个人如何维护上千规模的大数据集群？][6]
    
    本文主要介绍饿了么大数据团队如何通过对计算引擎入口的统一，降低用户接入门槛;如何让用户自助分析任务异常及失败原因，以及如何从集群产生的任务数据本身监控集群计算/存储资源消耗，监控集群状况，监控异常任务等。
 *  [美团点评数据平台Kerberos优化实战][Kerberos]
    
        Kerberos 是一种网络认证协议，其设计目标是通过密钥系统为客户端、服务器端的应用程序提供强大的认证服务。随着平台业务的快速增长，当前线上KDC的处理能力不足和不能可靠监控的问题被凸显的日益严重：线上单台KDC服务器最大承受QPS是多少？哪台KDC的服务即将出现压力过大的问题？为什么机器的资源非常空闲，KDC的压力却会过大？如何优化？优化后瓶颈在哪儿？如何保证监控指标的全面性、可靠性和准确性？这都是本文需要回答的问题。
 *  [NameNode内存全景][NameNode]
    
        从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地方，而且一旦NameNode出现故障，整个Hadoop集群就将处于不可服务的状态，同时随着数据规模和集群规模的持续增长，很多小量级时被隐藏的问题逐渐暴露出来。所以，从更高层次掌握NameNode的内部结构和运行机制尤其重要

[SparkSummit_6_4_6]: https://databricks.com/sparkaisummit/north-america/schedule
[Elasticsearch 6.3 _SQL]: https://mp.weixin.qq.com/s/FFitBpi73PZoDWCq2D3PfA
[Tableau _ Empirical Systems]: https://www.afenxi.com/56254.html
[Netflix_Metacat]: http://www.infoq.com/cn/articles/bigdata-netflix-metacat
[6]: http://www.thebigdata.cn/YeJieDongTai/37221.html
[Kerberos]: https://tech.meituan.com/Kerberos_big_data_platform.html
[NameNode]: https://mp.weixin.qq.com/s/kYkFOmFLzAkZn2-kn8XFsA