大数据好文推荐

偏执的太偏执、 2022-01-31 11:09 1747阅读 0赞

### 大数据好文推荐 ###

*  1 大数据综合
 *   *  1.1 大数据与传统数据库
     *  1.2 综合好文
     *  1.3 数据中台
     *  1.4 数据仓库
     *  1.5 数据湖
     *  1.6 调优
 *  2 通用工具
 *   *  2.1 代码仓库
     *  2.2 消息队列MQ
     *   *  2.2.1 消息队列综合
         *  2.2.2 Kafka
         *   *  2.2.2.1 概念
             *  2.2.2.2 Demo
             *  2.2.2.3 KSQL
         *  2.2.4 Pulsar
     *  2.3 协调服务
     *   *  2.3.1 Zookeeper
         *  2.3.2 Etcd
     *  2.4 序列化
     *   *  2.4.1 Avro
     *  2.5 压缩
     *  2.6 SQL解析
     *   *  2.6.1 Calcite
         *  2.6.2 Avatica
 *  3 大数据平台
 *   *  3.1 大数据平台综合
     *  3.2 数据接入
     *   *  3.2.1 数据埋点
         *  3.2.2 全量/非实时同步
         *   *  3.2.2.1 Sqoop
         *  3.2.3 增量/实时同步
         *   *  3.2.3.1 Flume
             *  3.2.3.2 Canal
             *   *  3.2.3.2.1 概念
                 *  3.2.3.2.2 使用
                 *  3.2.3.2.3 API
             *  3.2.2.3 Maxwell
             *   *  3.2.2.3.1 简介
                 *  3.2.2.3.2 概念
                 *  3.2.2.3.3 使用
             *  3.2.2.4 DataBus
     *  3.3 数据存储
     *   *  3.3.1 硬盘型数据存储
         *   *  3.3.1.1 HDFS
             *   *  3.3.1.1 HDFS 基本概念
                 *  3.3.1.2 ORC
                 *  3.3.1.3 Parquet
                 *  3.3.1.4 CarbonData
         *  3.3.2 内存数据存储
         *   *  3.3.2.1 Redis
             *  3.3.2.2 MemCache
             *  3.3.2.3 Alluxio
         *  3.3.3 图数据库
     *  3.4 资源管理
     *   *  3.4.1 Yarn
     *  3.5 数据计算
     *   *  3.5.1 流式处理
         *   *  3.5.1.1 SparkStreaming
             *  3.5.1.1.1 SparkStreaming综合
             *  3.5.1.1.2 Livy-图形化Spark提交
             *  3.5.1.2 Flink
             *   *  3.5.1.2.1 Flink综合
                 *  3.5.1.2.2 Flink概念
                 *  3.5.1.2.3 Flink实践
                 *  3.5.1.2.4 源码
                 *  3.5.1.2.5 面试
         *  3.5.2 离线计算
         *   *  3.5.2.1 MapReduce
             *  3.5.2.2 Tez
             *  3.5.2.3 Hive
             *  3.5.2.4 Spark
             *  3.5.2.4.1 Spark综合
             *  3.5.2.4.2 Livy-图形化Spark提交
     *  3.6 数据服务
     *   *  3.6.1 OLAP与OLTP概念
         *  3.6.2 综合文章
         *  3.6.3 维度分析
         *   *  3.6.3.1 Druid
             *  3.6.3.2 ClickHouse
             *   *  3.6.3.2.1 简介
                 *  3.6.3.2.2 适用的几种场景
                 *  3.6.3.2.3 不适用的几种场景
                 *  3.6.3.2.4 对比测试
                 *  3.6.3.2.5 好文推荐
         *  3.6.4 Hive
         *   *  3.6.4.1 Hive基础概念
             *  3.6.4.2 Hive配置
             *  3.6.4.3 Hive使用
             *  3.6.4.4 Hive集成其他
             *  3.6.4.5 Hive对比HBase
         *  3.6.5 Elasticsearch
         *   *  3.6.5.1 概念
             *  3.6.5.2 Demo
             *  3.6.5.3 聚合
             *  3.6.5.4 使用
             *  3.6.5.5 监控
             *  3.6.5.6 企业实践
             *  3.6.5.7 压测
         *  3.6.6 HBase
         *  3.6.7 Phoenix
         *  3.6.8 Impala
         *   *  3.6.8.1 原理
             *  3.6.8.2 教程
             *  3.6.8.3 安装部署
             *  3.6.8.4 使用
             *  3.6.8.5 调优
             *  3.6.8.6 实践
         *  3.6.9 Kudu
         *   *  3.6.9.1 概念
             *  3.6.9.2 Kudu Impala
             *  3.6.9.3 Kudu Spark
         *  3.6.10 Doris
         *  3.6.11 Presto
         *   *  3.6.11.1 简介
             *  3.6.11.2 好文推荐
         *  3.6.12 GreenPlum
     *  3.7 数据产品
     *   *  3.7.1 数据地图
         *  3.7.2 用户画像
         *  3.7.3 A/B实验
         *  3.7.4 数据可视化
         *   *  3.7.4.1 综合经验
             *  3.7.4.2 Zeppelin
             *  3.7.4.3 Superset
             *  3.7.4.4 HUE
 *  4 大数据平台辅助系统
 *   *  4.1 任务调度
     *   *  4.1.1 任务调度综合
         *   *  4.1.1.1 对比
             *  4.1.1.2 企业实践
         *  4.1.2 Azkaban
         *   *  4.1.2.1 官方文档
             *  4.1.2.2 安装
             *  4.1.2.3 使用
             *  4.1.2.4 二次开发
             *  4.1.2.5 对比
             *  4.1.2.6 问题记录
         *  4.1.3 Oozie
     *  4.2 权限管理
     *  4.3 多租户管理
     *  4.4 元数据管理
     *  4.5 数据治理/数据质量校验DQC
     *   *  4.5.1 Atlas
     *  4.6 运维监控
     *   *  4.6.1 prometheus
         *   *  4.6.1.1 概述
             *  4.6.1.2 Exporter
         *  4.6.2 Grafana
         *  4.6.3 Zabbix
         *  4.6.4 实践
 *  5 数据分析综合
 *   *  5.1 创业公司做数据分析系列文章
 *  6 数据仓库
 *   *  6.1 传统数仓
     *  6.2 实时数仓
 *  7 分布式
 *   *  7.1 分布式事务
     *  7.2 CAP
     *  7.3 一致性协议
     *  7.4 系统设计
 *  8 云服务
 *   *  8.1 阿里云
 *  9 企业实践
 *   *  9.1 搜索
     *  9.2 大数据平台
     *   *  9.2.1 大数据平台综合
         *  9.2.2 调度系统
         *  9.2.3 流式处理
         *  9.2.4 批处理
     *  9.3 数据仓库
     *   *  9.3.1 传统数仓
         *  9.3.2 实时数仓
     *  9.4 技术选型
     *  9.5 组件升级
 *  10 测试数据
 *  参考文档

# 1 大数据综合 #

## 1.1 大数据与传统数据库 ##

*  [SparkSQLJoin][]
 *  [CBO是什么][CBO]
 *  [Join中的谓词下推][Join]
 *  [SparkSQL – 从0到1认识Catalyst][SparkSQL _ _0_1_Catalyst]

## 1.2 综合好文 ##

*  [大数据平台常见开源工具集锦][Link 1]
 *  [数据对业务价值帮助的一些思考][Link 2]
 *  [盘点：SQL on Hadoop中用到的主要技术][SQL on Hadoop]
 *  [大数据平台架构–多公司架构图分析][Link 3]
 *  [大数据 SQL Boy 脱坑指南][SQL Boy]

## 1.3 数据中台 ##

*  [数据中台-好文推荐][-]
 *  [数据中台和数仓的关系][Link 4]

## 1.4 数据仓库 ##

## 1.5 数据湖 ##

*  转自数据异次元：杭州-数据中台|数据治理  
    数据湖以前最开始其实就代表了ODS，所以对于大型企业来说被忽悠上船之后就是数据沼泽。
    
    现在随着云厂商的不断概念演进，数据湖更多强调的是数据从各种源快速稳定的到达数仓，然后在一个平台进行各种敏捷分析和数据获取的过程。并且在这一层通过诸如impala、spark使用列存储 ，其他MPP类型数据库在分布式环境下更快速的获取想要的数据。但是这只是解决了数据从0-1的问题，一旦业务复杂数据量大（各种金融类型场景）还是得一步一步维度建模。感兴趣的可以搜一下这篇文章《data lakes fake news？》
 *  [数据湖与数据仓库之区别][Link 5]
 *  [数据湖很高大上？原来就是这么回事][Link 6]
 *  [什么是数据湖？有什么用？看了这一篇你就明白了……][Link 7]
 *  [漫谈“数据湖”][Link 8]
 *  [EDW2019-国际数据管理最新趋势（二）][EDW2019-]

## 1.6 调优 ##

*  [数据倾斜][Link 9]
 *  [谓词下推][Link 10]

# 2 通用工具 #

## 2.1 代码仓库 ##

*  [Apache代码仓库][Apache]  
    可下载个版本组件的源码、tar包等
 *  [MavenJar仓库][MavenJar]  
    可下载个版本组件的jar包
 *  [Maven代码仓库][Maven]  
    Maven/Gradle/Jar

## 2.2 消息队列MQ ##

### 2.2.1 消息队列综合 ###

*  [用MQ的原因][MQ]  
    好处：解耦, 异步, 削峰  
    坏处：系统整体可用性降低, 系统复杂性增加（一致性、数据多或少？）
 *  [技术选型-RabbitMQ 和 Kafka][-RabbitMQ _ Kafka]
    
    <table> 
     <thead> 
      <tr> 
       <th>名</th> 
       <th>ActiveMQ</th> 
       <th>RabbitMQ</th> 
       <th>RocketMQ</th> 
       <th>Kafka</th> 
       <th><a href="https://github.com/apache/pulsar" rel="nofollow">Pulsar</a></th> 
      </tr> 
     </thead> 
     <tbody> 
      <tr> 
       <td>开发语言</td> 
       <td>java</td> 
       <td>erlang</td> 
       <td>java</td> 
       <td>scala</td> 
       <td>java</td> 
      </tr> 
      <tr> 
       <td>单机吞吐量</td> 
       <td>万级</td> 
       <td>万级</td> 
       <td>十万级</td> 
       <td>十万级</td> 
       <td></td> 
      </tr> 
      <tr> 
       <td>时效性</td> 
       <td>ms</td> 
       <td>us</td> 
       <td>ms</td> 
       <td>ms以内</td> 
       <td></td> 
      </tr> 
      <tr> 
       <td>可用性</td> 
       <td>高，主从</td> 
       <td>高，主从</td> 
       <td>非常高，分布式</td> 
       <td>非常高，分布式</td> 
       <td>极高，分布式</td> 
      </tr> 
      <tr> 
       <td>功能特性</td> 
       <td>成熟，公司实践多，文档多，协议支持丰富</td> 
       <td>依靠erlang并发能力强，性能极好，延时最低，管理界面较丰富</td> 
       <td>MQ功能较完备，扩展性好</td> 
       <td>只支持主要的MQ功能，原生不提供消息查询(可通过Preso/KSQL)、消息回溯（老版本可通过改ZK，新版本改存offset的Topic）等功能。在大数据领域应用广</td> 
       <td>支持</td> 
      </tr> 
      <tr> 
       <td>动态扩容</td> 
       <td></td> 
       <td></td> 
       <td>需同步配置</td> 
       <td>需手动Rebalance</td> 
       <td>可即时可容</td> 
      </tr> 
      <tr> 
       <td>数据清理</td> 
       <td></td> 
       <td></td> 
       <td>不友好</td> 
       <td>可按Topic清理，不支持单独TTL，仅支持Topic级别设定过期时间</td> 
       <td>支持</td> 
      </tr> 
      <tr> 
       <td>适用/不适用场景</td> 
       <td></td> 
       <td>适合中小型公司，管理功能齐全方便；但要注意事项erlang开发，二次开发较困难</td> 
       <td>适用于大型公司；JAVA开发，容易二次开发；由阿里开发，没有社区支持；对Topic运营不方便，不支持按Topic删失效消息；不能宕机后自动FailOver</td> 
       <td>使用大型公司，但较少用于金融领域</td> 
       <td>原生的极高一致性，基于BookKeeper提供了高可用存储服务，存储和服务分离架构方便扩容，同时还支持多种消费模式和多域部署模式。</td> 
      </tr> 
     </tbody> 
    </table>

### 2.2.2 Kafka ###

#### 2.2.2.1 概念 ####

*  [Kafka学习][Kafka]
 *  [Kafka水位(HW)与leader epoch的讨论][Kafka_HW_leader epoch]
 *  [Kafka-0.8.2.1常见问题][Kafka-0.8.2.1]

#### 2.2.2.2 Demo ####

*  [Kafka 新版消费者 API（四）：优雅的退出消费者程序、多线程消费者以及独立消费者][Kafka _ API]

#### 2.2.2.3 KSQL ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70]  
KSQL是一个用于Apache kafka的流式SQL引擎，KSQL降低了进入流处理的门槛，提供了一个简单的、完全交互式的SQL接口，用于处理Kafka的数据，可以让我们在流数据上持续执行 SQL 查询，KSQL支持广泛的强大的流处理操作，可以直接流式ETL，支持多种操作包括聚合、连接、窗口、会话等等。

KSQL 是分布式、可扩展、可靠的和实时的，支持多种流式操作，包括`aggregate`、`join`、window、`session`等等。

*  [Github-KSQL][]
 *  [官网-KSQL ][-KSQL]
 *  [KSQL概念介绍][KSQL]
 *  [KSQL实战][KSQL 1]
 *  [KSQL：Apache Kafka的开源流式SQL][KSQL_Apache Kafka_SQL]
 *  [使用Apache Kafka和KSQL实现普及化流处理][Apache Kafka_KSQL]
 *  [Github-KSQL][]
 *  [码云-KSQL][-KSQL 1]
 *  [KSQL和Flink SQL的比较][KSQL_Flink SQL]

### 2.2.4 Pulsar ###

*  [Apache Pulsar 在腾讯计费场景下的应用][Apache Pulsar]
 *  [为什么已有Kafka，我们最终却选择了Apache Pulsar？][Kafka_Apache Pulsar]

## 2.3 协调服务 ##

### 2.3.1 Zookeeper ###

*  [Zookeeper学习][Zookeeper]
 *  [Zookeeper篇-每日五分钟搞定大数据系列][Zookeeper_-]

### 2.3.2 Etcd ###

## 2.4 序列化 ##

### 2.4.1 Avro ###

*  [Avro概念介绍][Avro]
 *  [Avro使用，带Spark][Avro_Spark]
 *  [Avro使用，带maven依赖][Avro_maven]

## 2.5 压缩 ##

*  [大数据-常用压缩方式总结][- 1]

## 2.6 SQL解析 ##

### 2.6.1 Calcite ###

`Apache Calcite`是一款开源SQL解析工具, 可以将各种SQL语句解析成语言物管的抽象语法树即AST(Abstract Syntax Tree), 并完成验证、优化，得到物理执行计划后，最后翻译成项目执行引擎（如Hive/Flink）所需的可执行代码。Calcite特性如下

*  支持标准SQL语言；
 *  独立于编程语言和数据源，可以支持不同的前端和后端；
 *  支持关系代数、可定制的逻辑规划规则和基于成本模型优化的查询引擎；
 *  持物化视图（materialized view）的管理（创建、丢弃、持久化和自动识别）；
 *  基于物化视图的Lattice和Tile机制，以应用于OLAP分析；
 *  支持对流数据的查询。

以后用到的话可以写一篇综述文章。参考好文如下：

*  [Apache-Calcite][]
 *  [Calcite-官方文档翻译–概览][Calcite-]
 *  [Calcite-概念和MySql实例][Calcite-_MySql]
 *  [Calcite-系列教程][Calcite- 1]
 *  [Calcite-最基本概念][Calcite- 2]
 *  [Calcite-术语][Calcite- 3]
 *  [Calcite-概念, RBO, CBO][Calcite-_ RBO_ CBO]
 *  [Calcite-架构和Hive CBO][Calcite-_Hive CBO]
 *  [Calcite-使用实例][Calcite- 4]
 *  [Calcite-连接Mysql][Calcite-_Mysql]
 *  [Calcite-Elasticsearch][]
 *  [Calcite-流式SQL][Calcite-_SQL]

### 2.6.2 Avatica ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 1]  
Avatica是一个构建数据库Driver的框架。其重要概念是wire API，可由JSON或Protobuf定义，服务于JDBC Driver客户端<->Http服务端。这样的设计可使得Client的实现语言不受约束。

*  [Apache-Calcite-Avatica][]

# 3 大数据平台 #

*  网易大数据平台架构  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 2]
 *  网易推荐系统架构  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 3]

## 3.1 大数据平台综合 ##

*  [网易大数据平台架构实践分享-余利华][- 2]  
    [备用链接1][1]  
    [备用链接2][2]  
    [备用链接3][3]
 *  [饿了么大数据离线平台架构 ][Link 11]
 *  [饿了么离线大数据平台实践][Link 12]
 *  [饿了么大数据平台建设][Link 13]
 *  [美图大数据平台架构实践][Link 14]
 *  [知乎大数据平台架构和实践优化][Link 15]
 *  [知乎⼤大数据平台架构和实践优化][Link 16]
 *  [美团的大数据平台架构实践][Link 17]
 *  [移动大数据平台架构思想以及实践经验][Link 18]
 *  [滴滴知乎腾讯大数据平台架构图][Link 19]
 *  [快手-SQL on Hadoop在快手大数据平台的实践与优化][-SQL on Hadoop]
 *  [有赞-大数据开发平台(Data Platform)最佳实践][-_Data Platform]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 4]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 5]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 6]

## 3.2 数据接入 ##

### 3.2.1 数据埋点 ###

我们使用了神策数据进行统一埋点。

*  [创业公司做数据分析（三）用户行为数据采集系统][Link 20]
 *  [七天数据埋点之旅-指引篇][- 3]

### 3.2.2 全量/非实时同步 ###

#### 3.2.2.1 Sqoop ####

[辅助系统（Flume，azkaban，sqoop）][Flume_azkaban_sqoop]

### 3.2.3 增量/实时同步 ###

#### 3.2.3.1 Flume ####

*  [Flume-好文推荐][Flume-]
 *  [Flume架构与实践][Flume]
 *  [Flume学习-小项目实例][Flume_-]
 *  [Flume-常见错误][Flume- 1]

#### 3.2.3.2 Canal ####

##### 3.2.3.2.1 概念 #####

*  [Canal概述][Canal]
 *  [MySQL增量订阅&消费组件Canal ][MySQL_Canal]
 *  [深入解析中间件之-Canal][-Canal]
 *  [Mysql主从同步问题及Canal的好处][Mysql_Canal]

##### 3.2.3.2.2 使用 #####

*  [Canal-配置详解][Canal-]
 *  [使用 Binlog 和 Canal 从 MySQL 抽取数据][Binlog _ Canal _ MySQL]
 *  [使用canal同步mysql变更到elasticsearch及其坑][canal_mysql_elasticsearch]

##### 3.2.3.2.3 API #####

*  [Canal-Java-API][]
 *  [Canal-Java-API2][]

#### 3.2.2.3 Maxwell ####

##### 3.2.2.3.1 简介 #####

Maxwell是Zendesk开源的、由Java语言编写数据库binlog解析同步工具。

使用Maxwell，可通过简单配置，将binlog解析后并以json的格式同步到File、Redis、Kafka、RabbitMQ等主流系统中，也可自定义输出。

相比Canal，Maxwell相当于Canal Server+Canal Client，直接独立部署即可，使用更方便。

##### 3.2.2.3.2 概念 #####

*  [maxwells-daemon][]
 *  [MySQL Binlog 解析工具 Maxwell 详解][MySQL Binlog _ Maxwell]

##### 3.2.2.3.3 使用 #####

*  [数据收集之binlog同步----Maxwell][binlog_----Maxwell]
 *  [数据收集之binlog同步 Maxwell —>Kafka][binlog_ Maxwell _Kafka]

#### 3.2.2.4 DataBus ####

## 3.3 数据存储 ##

### 3.3.1 硬盘型数据存储 ###

#### 3.3.1.1 HDFS ####

##### 3.3.1.1 HDFS 基本概念 #####

*  [HDFS学习][HDFS]
 *  [Hadoop参数：fs.defaultFS、 dfs.name.dir 、 dfs.data.dir][Hadoop_fs.defaultFS_ dfs.name.dir _ dfs.data.dir]
 *  [HDFS-异常大全-《每日五分钟搞定大数据》][HDFS-_-]

##### 3.3.1.2 ORC #####

##### 3.3.1.3 Parquet #####

##### 3.3.1.4 CarbonData #####

*  [Apache CarbonData 中文文档][Apache CarbonData]  
    Apache CarbonData 是一种新的融合存储解决方案，利用先进的列式存储，索引，压缩和编码技术提高计算效率，从而加快查询速度，其查询速度比 PetaBytes 数据快一个数量级。
 *  [CarbonData QuickStart][]

### 3.3.2 内存数据存储 ###

#### 3.3.2.1 Redis ####

*  [Redis好文推荐][Redis]
 *  [Redis学习-安装和启动][Redis_-]
 *  [Redis学习-FAQ][Redis_-FAQ]
 *  [Redis学习-知识梳理][Redis_- 1]
 *  [Redis- info调优入门-《每日五分钟搞定大数据》][Redis- info_-]

#### 3.3.2.2 MemCache ####

*  [MemCache详细解读][MemCache]

#### 3.3.2.3 Alluxio ####

### 3.3.3 图数据库 ###

*  [图数据库好文推荐][Link 21]

## 3.4 资源管理 ##

### 3.4.1 Yarn ###

*  [Yarn学习][Yarn]
 *  [Yarn-调优][Yarn-]
 *  [源码走读-Yarn-ResourceManager系列][Yarn]
 *  [YARN-异常大全-《每日五分钟搞定大数据》][YARN-_-]

## 3.5 数据计算 ##

### 3.5.1 流式处理 ###

[说说实时流式计算][Link 22]

#### 3.5.1.1 SparkStreaming ####

#### 3.5.1.1.1 SparkStreaming综合 ####

*  [十年开发经验大牛分享Spark 以及 spark streaming 核心原理及实践][Spark _ spark streaming]
 *  [百度/微信-Spark 以及 spark streaming 核心原理及实践][-Spark _ spark streaming]
 *  [Spark Streaming 源码解析系列/0.1 Spark Streaming 实现思路与模块概述][Spark Streaming _0.1 Spark Streaming]

#### 3.5.1.1.2 Livy-图形化Spark提交 ####

*  [Apache Livy 0.5.0 简介及安装教程][Apache Livy 0.5.0]
 *  [Livy：基于Apache Spark的REST服务][Livy_Apache Spark_REST]

#### 3.5.1.2 Flink ####

##### 3.5.1.2.1 Flink综合 #####

*  [Flink社区-大量免费资料、文档下载][Flink_-]
 *  [Flink系列文章][Flink]

##### 3.5.1.2.2 Flink概念 #####

*  [Flink学习1-基础概念][Flink_1-]
 *  [Flink学习2-安装和启动][Flink_2-]
 *  [Flink学习3-API介绍][Flink_3-API]
 *  [过往记忆-深入理解Flink核心技术][-_Flink]
 *  [阿里Jark-Flink原理系列文章][Jark-Flink]
 *  [Apache Flink 进阶（一）：Runtime 核心机制剖析 ][Apache Flink _Runtime _]
 *  [Apache Flink 进阶（二）：时间属性深度解析][Apache Flink]
 *  [Apache Flink 进阶（三）：Checkpoint 原理剖析与应用实践][Apache Flink _Checkpoint]
 *  [Apache Flink 进阶（四）：Flink on Yarn / K8s 原理剖析及实践][Apache Flink _Flink on Yarn _ K8s]
 *  [Apache Flink 零基础入门（一）：基础概念解析][Apache Flink 1]
 *  [Apache Flink 零基础入门（六）：状态管理及容错机制][Apache Flink 2]

##### 3.5.1.2.3 Flink实践 #####

*  [OPPO 基于 Flink 构建实时计算平台的思路、演进与优化][OPPO _ Flink]
 *  [基于 Flink 的严选实时数仓实践][Flink 1]
 *  [腾讯基于 Flink 的实时流计算平台演进之路][Flink 2]
 *  [OPPO数据中台之基石：基于Flink SQL构建实数据仓库][OPPO_Flink SQL]
 *  [为什么我们选择基于Flink搭建实时个性化营销平台?][Flink 3]
 *  [美团点评基于 Flink 的实时数仓平台实践][Flink 4]
 *  [Flink 零基础实战教程：如何计算实时热门商品][Flink 5]

##### 3.5.1.2.4 源码 #####

*  [Flink SQL Window源码全解析][Flink SQL Window]

##### 3.5.1.2.5 面试 #####

*  [Flink面试通关手册][Flink 6]

### 3.5.2 离线计算 ###

#### 3.5.2.1 MapReduce ####

*  [Hadoop-MapReduce学习][Hadoop-MapReduce]
 *  [MapReduce学习][Hadoop-MapReduce]
 *  [Hadoop Streaming介绍][Hadoop Streaming]
 *  [对比 Hadoop MapReduce 和 Spark 的 Shuffle 过程][Hadoop MapReduce _ Spark _ Shuffle]
 *  [MapReduceshuffle过程剖析及调优][MapReduceshuffle]

#### 3.5.2.2 Tez ####

[MapReduce和Tez对比][MapReduce_Tez]

#### 3.5.2.3 Hive ####

#### 3.5.2.4 Spark ####

#### 3.5.2.4.1 Spark综合 ####

*  [SparkSQL 在有赞的实践][SparkSQL]
 *  [Spark-SparkSQLJoin][]
 *  [Spark-算子原理和区别][Spark-]
 *  [Spark-常见问题][Spark- 1]
 *  [Spark好文推荐][Spark]
 *  [性能优化-使用高性能的库fastutil][-_fastutil]
 *  [spark性能调优之使用fastutil优化数据格式][spark_fastutil]
 *  [一篇文章搞懂DataSet、DataFrame、RDD-《每日五分钟搞定大数据》][DataSet_DataFrame_RDD-]
 *  [一篇文章scala入门-《每日五分钟搞定大数据》][scala_-]
 *  [解读Spark原理][Spark 1]

#### 3.5.2.4.2 Livy-图形化Spark提交 ####

*  [Apache Livy 0.5.0 简介及安装教程][Apache Livy 0.5.0]
 *  [Livy：基于Apache Spark的REST服务][Livy_Apache Spark_REST]

## 3.6 数据服务 ##

### 3.6.1 OLAP与OLTP概念 ###

*  OLAP  
    全称`Online Analytical Processing`，即在线分析处理，专门被设计用作支持复杂的分析操作，面向数据分析师、决策人员、高层管理人员。
    
    比如电商场景中，数据分析人员利用OLAP系统进行各指标查询等，出报表给老板看，进行决策。
 *  OLTP  
    全称`Online Transaction Processing`，即在线事务处理，它所存储的数据被称为操作数据或者业务数据，适用于事务类数据，如订单。
    
    比如电商场景中，订单等重要数据使用OLTP，利用事务特性进行可靠的数据写入和存储。
 *  Ad-hoc  
    就是即席查询，用户可根据自己的需求输入查询条件，系统在较短时间内响应并返回查询结果。

### 3.6.2 综合文章 ###

*  [开源OLAP引擎测评报告][OLAP]  
    本次测试针对现有Olap的7大Sql引擎Hadoop(2.7)、Hive(2.1)、Hawq(3.1.2.0)、Presto(0.211)、Impala(2.6.0)、Sparksql(2.2.0)、Clickhouse(18.1.0-1.El7)、Greenplum(5.7.0) 基础性能测试。我们采用多表关联和单大表性能分别对比不同组件在查询性能、系统负载等方面的情况  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 7]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 8]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 9]
 *  [ 开源大数据OLAP引擎对比][_OLAP]
 *  [Kylin、Druid、ClickHouse核心技术对比][Kylin_Druid_ClickHouse]
 *  [ClickHouse和Druid对比][ClickHouse_Druid]
 *  [大数据OLAP系统比较][OLAP 1]
 *  [Comparison of the Open Source OLAP Systems for Big Data: ClickHouse, Druid, and Pinot][Comparison of the Open Source OLAP Systems for Big Data_ ClickHouse_ Druid_ and Pinot]
 *  [从Druid到ClickHouse | eBay广告平台数据OLAP实战][Druid_ClickHouse _ eBay_OLAP]

### 3.6.3 维度分析 ###

#### 3.6.3.1 Druid ####

*  [Apache Druid：一款高效的 OLAP 引擎][Apache Druid_ OLAP]
 *  [Druid实时大数据笔记02 -架构][Druid_02 -]
 *  [快手万亿级实时OLAP平台的建设与实践 ][OLAP_]
 *  [OLAP引擎这么多，为什么苏宁选择用Druid？][OLAP_Druid]
 *  [Apache Druid 平台化 - 数据接入篇][Apache Druid _ -]
 *  [从Druid到ClickHouse | eBay广告平台数据OLAP实战][Druid_ClickHouse _ eBay_OLAP]

#### 3.6.3.2 ClickHouse ####

##### 3.6.3.2.1 简介 #####

ClickHouse是开源的一个面向列的数据库管理系统，能够使用SQL查询实时生成分析数据报告。

*  高性能  
    ClickHouse的性能超过了目前市场上可比的面向列的DBMS，每秒处理数亿个到超过十亿行和几十GB的数据。
    
    ClickHouse尽可能快地使用所有可用硬件来处理每个查询。 单个查询的峰值处理性能（在解压缩之后，仅使用列）的速度超过每秒2TB。
 *  Ad-hoc即席查询  
    常见的数据管理中大多数原始格式的原始数据可用作任何给定查询的“数据湖”；
    
    而ClickHouse在大多数情况下提供即时结果：甚至数据处理速度快于创建数据所需的速度。
 *  方便水平扩展和垂直扩展。  
    Yandex.Metrica公司主要集群有394个节点，分布在6个数据中心，每个节点100Tb数据。
 *  容错性高  
    ClickHouse支持多master异步复制的副本，可部署到多个数据中心，所以某个数据中心或某个节点挂掉不影响整个集群读写可用性，因为读是分布式读，自动均衡分派到存活的副本节点。
 *  SQL  
    用户友好的SQL方言，同时支持Join
 *  支持实时更新
 *  容错性高  
    自动多副本同步
 *  采用列式存储，基于磁盘
 *  任务分片  
    计算任务在多个分片上并行执行，完成后汇总结果、
 *  支持索引
 *  支持近似查询处理  
    您可以根据需要快速获得结果，这在处理TB级和PB级数据时必不可少
 *  部署简单
 *  丰富的使用方法：
    
     *  HTTP
     *  TCP
     *  ClickHouse命令行
     *  JDBC/ODBC
     *  其他第三方包

##### 3.6.3.2.2 适用的几种场景 #####

*  单表查询最快，但也支持多表。  
    实测中，1亿数据可用基于SparkStreaming的WaterDrop在3分钟内从Hive同步到ClickHouse。
    
    9亿数据的单表，查询SQL可在1秒内返回结果。
 *  网页和应用分析 OLAP
 *  时序数据
 *  监控数据
 *  BI
 *  网游
 *  物联网
 *  在线广告

##### 3.6.3.2.3 不适用的几种场景 #####

*  OLTP
 *  Key-value，高QPS访问场景
 *  文档性数据存储
 *  过度标准化的数据

##### 3.6.3.2.4 对比测试 #####

*  [Benchmark对比][Benchmark]
 *  [对比Amazon RedShift][Amazon RedShift]
 *  [ClickHouse评测][ClickHouse]
 *  [开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)][OLAP_SparkSql_Presto_Impala_HAWQ_ClickHouse_GreenPlum]
 *  [TiDB和ClickHouse的对比分析][TiDB_ClickHouse]
 *  [从Druid到ClickHouse | eBay广告平台数据OLAP实战][Druid_ClickHouse _ eBay_OLAP]

##### 3.6.3.2.5 好文推荐 #####

*  [ClickHouse官方中文文档][ClickHouse 1]
 *  [ClickHouse专业中文社区][ClickHouse 2]
 *  [ClickHouse的特性][ClickHouse 3]
 *  [官网-ClickHouse][-ClickHouse]
 *  [ClickHouse高性能分布式分析数据库][ClickHouse 4]
 *  [彪悍开源的分析数据库-ClickHouse][-ClickHouse 1]
 *  [ClickHouse深度揭秘-阿里云][ClickHouse_-]
 *  [从Druid到ClickHouse | eBay广告平台数据OLAP实战][Druid_ClickHouse _ eBay_OLAP]

### 3.6.4 Hive ###

#### 3.6.4.1 Hive基础概念 ####

*  [Hive学习][Hive]
 *  [官网-Hive文档目录][-Hive]

#### 3.6.4.2 Hive配置 ####

*  [官网-HiveConfiguration][-HiveConfiguration]

#### 3.6.4.3 Hive使用 ####

*  [Hive-调优][Hive-]
 *  [Apache Hive 联邦查询][Apache Hive]  
    可以在 Hive 中使用标准的 JDBC 方式读取存储在不同数据存储里面的数据。比如我们可以在 Hive 中分别读取 MySQL 和 Phoenix 里面的数据，然后进行关联。其提供高效，统一的 SQL 访问 - 开箱即用。
 *  [HiveCasCade-新增字段(column)后，旧分区无法更新数据问题][HiveCasCade-_column]

#### 3.6.4.4 Hive集成其他 ####

*  [Impala集成hive][Impala_hive]

#### 3.6.4.5 Hive对比HBase ####

*  Hive面向OLAP，重点是基于一个统一的查询分析层，支撑OLAP应用中的各种join、group by、 aggregation类SQL语句。且hive一般只用于查询分析统计，而不适用于删改操作；
    
    HBase面向OLTP，是一个Key-Value数据库，支持行级别删改操作，但不适用于join、复杂查询等场景。
 *  Hive负责管理数据的元数据 ；
    
    而HBase本身就是物理表。
 *  Hive表用行存储时为稠密性；
    
    HBase基于列族，是稀疏的，空cell不占空间。
 *  Hive基于MR时查询时延较高;
    
    HBase普通查询响应速度极快。
 *  Hive也能通过HBase Connector来查询HBase数据。

### 3.6.5 Elasticsearch ###

*  [Elasticsearch中文社区][Elasticsearch]
 *  [Elasticsearch综合系列文章][Elasticsearch 1]

#### 3.6.5.1 概念 ####

*  [搜索引擎 ElasticSearch][ElasticSearch]
 *  [Elasticsearch发展史][Elasticsearch 2]
 *  [Elasticsearch5.x 新特性][Elasticsearch5.x]
 *  [Elasticsearch分布式存储][Elasticsearch 3]
 *  [Elasticsearch核心概念与原理][Elasticsearch 4]
 *  [Elasticsearch学习-Doc与Segment原理][Elasticsearch_-Doc_Segment]
 *  [Elasticsearch学习-搜索调优][Elasticsearch_-]
 *  [Elasticsearch学习-关于倒排索引、DocValues、FieldData和全局序号][Elasticsearch_-_DocValues_FieldData]

#### 3.6.5.2 Demo ####

*  [23种非常有用的ElasticSearch查询例子][23_ElasticSearch]
 *  [Elasticsearch 5.4 JAVA API 使用][Elasticsearch 5.4 JAVA API]

#### 3.6.5.3 聚合 ####

*  [浅谈基数计数HLLC算法原理及其应用 ][HLLC_]
 *  [cardinality算法之优化内存开销以及HLL算法][cardinality_HLL]
 *  [官方文档-Cardinality Aggregationedit][-Cardinality Aggregationedit]
 *  [官方文档-权威指南][- 4]
 *  [官方文档翻译-信息聚合系列之近似聚合][- 5]
 *  [Elasticsearch 聚合][Elasticsearch 5]
 *  [Elasticsearch聚合统计-度量聚合][Elasticsearch_- 1]
 *  [Elasticsearch数据去重（百万级别）][Elasticsearch 6]

#### 3.6.5.4 使用 ####

*  [Elasticsearch使用总结][Elasticsearch 7]
 *  [Elasticsearch最佳实践之Index与Shard设计][Elasticsearch_Index_Shard]
 *  [Elasticsearch最佳实践之使用场景][Elasticsearch 8]
 *  [创业公司做数据分析（四）ELK日志系统][ELK]

#### 3.6.5.5 监控 ####

*  [阿里云Elasticsearch的X-Pack：机器学习、安全保障和可视化][Elasticsearch_X-Pack]

#### 3.6.5.6 企业实践 ####

*  [华泰证券-日志平台ElasticSearch升级之路][-_ElasticSearch]
 *  [Elastic Stack最佳实践][Elastic Stack]
 *  [有赞-搜索系统的架构演进][- 6]
 *  [有赞-Elasticsearch的索引和集群隔离实践][-Elasticsearch]
 *  [有赞-使用 ES 搭建日志平台的演进][-_ ES]
 *  [阿里云-PB级规模数据的Elasticsearch分库分表实践][-PB_Elasticsearch]
 *  [阿里云-Elasticsearch内核优化与应用实践][-Elasticsearch 1]
 *  [阿里云-Elasticsearch架构解析与性能优化实践][-Elasticsearch 2]
 *  [字节跳动-ElasticSearch在字节跳动的平台化建设实践][-ElasticSearch]
 *  [字节跳动-基于K8S的ES服务平台在头条的实践介绍][-_K8S_ES]
 *  [字节跳动-多数据源的ES同步之道][-_ES]
 *  [苏宁-Elasticsearch平台实战][-Elasticsearch 3]
 *  [滴滴Elasticsearch多集群架构实践][Elasticsearch 9]
 *  [滴滴Elasticsearch Query DSL分析系统][Elasticsearch Query DSL]
 *  [蚂蚁金服-ES在蚂蚁金服的中台实践经验][-ES]
 *  [蚂蚁金服-ES集群的多租户实践][-ES 1]
 *  [腾讯-Elasticsearch在腾讯的优化实践][-Elasticsearch 4]
 *  [腾讯-Elasticsearch在腾讯的大规模实践][-Elasticsearch 5]
 *  [腾讯-云原生的Elasticsearch服务][-_Elasticsearch]
 *  [Elasticsearch 性能想飞就飞][Elasticsearch 10]
 *  [小米Elasticsearch服务平台化演进][Elasticsearch 11]

#### 3.6.5.7 压测 ####

*  [Elasticsearch压测工具esrally详解][Elasticsearch_esrally]  
    Rally 是 Elastic 官方开源的性能压测工具，可做基准测试。

### 3.6.6 HBase ###

*  [HBase学习][HBase]
 *  [HBase中文社区][HBase 1]
 *  [HBase篇-每日五分钟搞定大数据系列][Zookeeper_-]
 *  [滴滴HBase技巧][HBase 2]

### 3.6.7 Phoenix ###

*  [Phoenix学习][Phoenix]

### 3.6.8 Impala ###

Impala 是 Cloudera 在受到 Google 的 Dremel 启发下开发的实时交互SQL大数据查询工具，它拥有和Hadoop一样的可扩展性、它提供了类SQL（类Hsql）语法，在多用户场景下也能拥有较高的响应速度和吞吐量。

Impala由Java和C++实现的，其中Java提供的查询交互的接口和实现，C++实现了查询引擎部分。

Impala可以访问Hive Metastore，甚至可以直接使用Hive的JDBC jar和beeline等直接对Impala进行查询、支持丰富的数据存储格式（Parquet、Avro等）。

最重要的，Impala 没有再使用缓慢的 Hive+MapReduce 批处理，而是通过使用与商用并行关系数据库中类似的分布式查询引擎（由 Query Planner、Query Coordinator 和 Query Exec Engine 三部分组成），可以直接从 HDFS 或 HBase 中查询数据，从而大大降低了延迟。

#### 3.6.8.1 原理 ####

*  [Impala学习-基础概念][Impala_-]
 *  [Impala学习-JDBC配置][Impala_-JDBC]
 *  [Impala 简析][Impala]
 *  [impala的原理架构介绍及应用场景][impala]
 *  [大数据时代快速SQL引擎-Impala][SQL_-Impala]
 *  [Cloudera Impala架构设计要点][Cloudera Impala]

#### 3.6.8.2 教程 ####

[impala教程][impala 1]

#### 3.6.8.3 安装部署 ####

*  [Impala集成hive][Impala_hive]  
    需要注意的是，这种集成方式有很多限制。比如hive自定义的INPUTFORMAT，impala无法识别；  
    impala无法感知hive表产生的变动，需要`invalidate metadata`全量或是用`refresh <tablename>`指定表名刷新元数据。

#### 3.6.8.4 使用 ####

*  [Impala Shell 简单命令][Impala Shell]
 *  [Impala shell详解][Impala shell]
 *  [使用impala操作kudu之创建kudu表（内部表和外部表）][impala_kudu_kudu]

#### 3.6.8.5 调优 ####

*  [Impala 性能调整][Impala 1]
 *  [CDH-Impala Performance Guidelines and Best Practices][]
 *  [CDH-Controlling Impala Resource Usage][]
 *  [\[Impala–使用注意\]–调整对应的参数(cdh-5.8.x版本)][Impala_cdh-5.8.x]

#### 3.6.8.6 实践 ####

*  [网易-基于Impala平台打造交互查询系统][-_Impala]
 *  [网易知乎-基于Impala平台打造交互查询系统][-_Impala 1]

### 3.6.9 Kudu ###

#### 3.6.9.1 概念 ####

*  [kudu简介与操作方式][kudu]
 *  [CDH组件版本查询][CDH]

#### 3.6.9.2 Kudu Impala ####

*  [Apache Kudu 与 Impala Shell 的结合使用文档（创建表、删、改、查）][Apache Kudu _ Impala Shell]
 *  [impala + kudu一些优化心得][impala _ kudu]
 *  [使用impala操作kudu之创建kudu表（内部表和外部表）][impala_kudu_kudu]
 *  [Kudu基础–Kudu+Impala介绍][Kudu_Kudu_Impala]

#### 3.6.9.3 Kudu Spark ####

*  [CDH-kudu-spark github][]
 *  [CDH-Spark on Kudu,详细示例][CDH-Spark on Kudu]
 *  [KuduCRUD][]
 *  [Spark Kudu 结合][Spark Kudu]
 *  [Apache-kudu Kudu-Spark-example][]
 *  [一个家伙写的SparkOnKudu例子][SparkOnKudu]
 *  [java操作kudu全示例(含sparksql)][java_kudu_sparksql]
 *  [SparkStreaming读Kafka数据写Kudu][SparkStreaming_Kafka_Kudu]
 *  [Spark 2.2.1 + Kudu 1.5.0][Spark 2.2.1 _ Kudu 1.5.0]

### 3.6.10 Doris ###

*  [Apache Doris 在美团点评的实践][Apache Doris]  
    包括为什么不选其他ROLAP的原因，补链https://blog.bcmeng.com/post/meituan-doris.html
 *  [Apache Doris在美团外卖数仓中的应用实践][Apache Doris 1]
 *  [Apache Doris在京东搜索实时OLAP中的应用实践][Apache Doris_OLAP]

### 3.6.11 Presto ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 10]

#### 3.6.11.1 简介 ####

Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。

Presto支持在线数据查询，包括Hive, Cassandra, Mysql关系数据库以及专有数据存储。也支持Redis，Mongodb，Kafak这样的系统通过SQL语句来查询数据。

一条Presto查询可以将多个数据源的数据进行合并，可以跨越整个组织进行分析。而且Presto还可直接从HDFS中读取数据进行查询。

Presto的其他特点：

*  完全基于内存的并行计算
 *  流水线作业
 *  本地化计算
 *  动态编译执行计划
 *  精心设计和使用的内存及数据结构
 *  良好的GC控制
 *  本身不存储数据
 *  可访问多种数据源，并可跨数据源访问
 *  适用于OLAP，擅长海量数据分析，不适用于OLTP

第三方界面化查询可用`yanagishima`

#### 3.6.11.2 好文推荐 ####

*  [Presto实现原理和美团的使用实践][Presto]
 *  [Presto实战][Presto 1]

### 3.6.12 GreenPlum ###

*  MPP架构  
    Greenplum是一个开源的大规模并行数据分析引擎。借助MPP架构，在大型数据集上执行复杂SQL分析的速度比很多解决方案都要快。
 *  支持SQL  
    GPDB完全支持ANSI SQL 2008标准和SQL OLAP 2003 扩展；
 *  API  
    从应用编程接口上讲，它支持ODBC和JDBC。完善的标准支持使得系统开发、维护和管理都大为方便。
 *  分布式事务和ACID  
    支持分布式事务，支持ACID。保证数据的强一致性。
 *  现行可扩展  
    GreenPlum是分布式数据库，拥有良好的线性扩展能力。
 *  完善的生态系统  
    GreenPlum可以与很多企业级产品集成，譬如SAS，Cognos，Informatic，Tableau等；也可以很多种开源软件集成，譬如Pentaho,Talend 等。

## 3.7 数据产品 ##

### 3.7.1 数据地图 ###

*  [阿里云-数据地图概述][- 7]

### 3.7.2 用户画像 ###

*  [大数据用户画像方法与实践][Link 23]
 *  [你确定你真的懂用户画像？ ][Link 24]

### 3.7.3 A/B实验 ###

### 3.7.4 数据可视化 ###

#### 3.7.4.1 综合经验 ####

*  [《七天数据可视化之旅》第一天 数据可视化过程][Link 25]

#### 3.7.4.2 Zeppelin ####

*  [Zeppelin 使用心得][Zeppelin]
 *  [Apache Zeppelin是什么？][Apache Zeppelin]
 *  [使用Zeppelin来实现大数据分析的可视化][Zeppelin 1]

#### 3.7.4.3 Superset ####

*  [数据可视化的开源方案: Superset vs Redash vs Metabase][Superset vs Redash vs Metabase]

#### 3.7.4.4 HUE ####

*  [Hue In Hadoop][]
 *  [通过hue提交oozie定时任务][hue_oozie]

# 4 大数据平台辅助系统 #

## 4.1 任务调度 ##

### 4.1.1 任务调度综合 ###

#### 4.1.1.1 对比 ####

*  [工作流调度器azkaban（以及各种工作流调度器比对）][azkaban]
 *  [2018工作流引擎比较：Airflow、Azkaban、Conductor、Oozie和 Amazon Step Functions][2018_Airflow_Azkaban_Conductor_Oozie_ Amazon Step Functions]

#### 4.1.1.2 企业实践 ####

*  [饿了么-调度系统][- 8]

### 4.1.2 Azkaban ###

#### 4.1.2.1 官方文档 ####

[Azkaban documentation][]

#### 4.1.2.2 安装 ####

*  [Azkaban 指南][Azkaban]
 *  [Azkaban3.0安装部署][Azkaban3.0]
 *  [安装使用Azkaban遇到的坑][Azkaban 1]

#### 4.1.2.3 使用 ####

*  [Azkaban－开源任务调度程序（使用篇）][Azkaban 2]
 *  [Azkaban-参数传递][Azkaban-]
 *  [基于Azkaban的任务定时调度实践][Azkaban 3]
 *  [Azkaban HDFS Hive等][Azkaban HDFS Hive]
 *  [Azkaban HDFS Hive SQL等][Azkaban HDFS Hive SQL]
 *  [Azkaban邮件发送][Azkaban 4]
 *  [Azkaban-综合手册][Azkaban- 1]

#### 4.1.2.4 二次开发 ####

*  [Azkaban-二次开发][Azkaban- 2]
 *  [Azkaban 短信预警插件开发][Azkaban 5]
 *  [azkaban多用户定制][azkaban 1]

#### 4.1.2.5 对比 ####

*  [工作流调度器azkaban——权威指南][azkaban 2]

#### 4.1.2.6 问题记录 ####

[Azkaban 使用问题记录][Azkaban 6]

### 4.1.3 Oozie ###

*  [通过hue提交oozie定时任务][hue_oozie]
 *  [如何使用Hue上创建一个完整Oozie工作流][Hue_Oozie]

## 4.2 权限管理 ##

## 4.3 多租户管理 ##

## 4.4 元数据管理 ##

*  [EDW2019-国际数据管理最新趋势（一）][EDW2019- 1]

## 4.5 数据治理/数据质量校验DQC ##

*  [阿里云-数据综合治理概述][- 9]
 *  [阿里云-数据质量概览][- 10]
 *  [阿里云MVP Meetup 《云数据·大计算：海量日志数据分析与应用》之《数据质量监控》篇][MVP Meetup]
 *  [蚂蚁金服数据质量治理架构与实践][Link 26]
 *  [漫谈数据质量监控][Link 27]
 *  [数据质量监控][Link 28]
 *  [网易猛犸：数据质量漫谈][Link 29]
 *  [网易考拉规则引擎平台架构设计与实践][Link 30]
 *  [有赞技术-数据治理][- 11]

### 4.5.1 Atlas ###

## 4.6 运维监控 ##

[一篇文章全面了解监控知识体系][Link 31]

### 4.6.1 prometheus ###

![prometheus][]

#### 4.6.1.1 概述 ####

Prometheus普罗米修斯是一个时序数据库，可以用来做metrics采集（比如访问Exporter暴露出的接口来采集数据）、数据查询、监控告警等。

可参考：

*  [prometheus简介][prometheus 1]
 *  [prometheus.io][]
 *  [开源监控 prometheus初体验][prometheus 2]
 *  [Prometheus官网的非官方中文手册][Prometheus]

#### 4.6.1.2 Exporter ####

*  [Github-JMX Exporter][]  
    把JMX metrics 导出为 Promethues 格式
 *  [Github-Kafka Exporter][]  
    把常见的 Kafka metrics导出为 Prometheus 格式。

### 4.6.2 Grafana ###

可视化工具，可以搞dashbord，适合用来展示监控数据，可搭配时序库Prometheus、InfluxDB等使用。

*  [Grafana import][]

### 4.6.3 Zabbix ###

Zabbix主要用来做服务器级别系统性能监控。

*  [Prometheus 对比 Zabbix][Prometheus _ Zabbix]

### 4.6.4 实践 ###

*  [JMX exporter+Prometheus+Grafana监控Hadoop集群][JMX exporter_Prometheus_Grafana_Hadoop]
 *  携程的Kafka监控方案：
    
     *  JMX Exporter：部署到每台 broker 上。
     *  Kafka Exporter：部署到任意 1 台 broker 上。
     *  Prometheus：部署到 1 台独立机器上，采集 JMX Exporter 和 Kafka Exporter 上的数据。
     *  Grafana：部署到 1 台独立机器上，可视化 Prometheus Kafka metrics 数据。对于 cluster、broker、topic、consumer 4 个角色，分别制作了 dashboard。

# 5 数据分析综合 #

## 5.1 创业公司做数据分析系列文章 ##

*  [创业公司做数据分析（一）开篇][Link 32]
 *  [创业公司做数据分析（二）运营数据系统][Link 33]
 *  [创业公司做数据分析（三）用户行为数据采集系统][Link 20]
 *  [创业公司做数据分析（四）ELK日志系统][ELK]
 *  [创业公司做数据分析（五）微信分享追踪系统][Link 34]
 *  [创业公司做数据分析（六）数据仓库的建设][Link 35]

# 6 数据仓库 #

*  网易数据仓库  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 11]

## 6.1 传统数仓 ##

*  [一种通用的数据仓库分层方法][Link 36]
 *  [数据库, 数据仓库, 数据集市][Link 37]
 *  [大数据处理过程的通俗理解][Link 38]
 *  [创业公司做数据分析（六）数据仓库的建设][Link 35]

## 6.2 实时数仓 ##

*  [美团点评基于 Flink 的实时数仓建设实践][Flink 7]
 *  [实时数仓 | 你需要的是一款强大的 OLAP 引擎][_ _ OLAP]  
    本文参考了阿里巴巴菜鸟网络，知乎，网易严选，美团的实时数仓设计的公开技术文章

# 7 分布式 #

![一致性算法思维导图][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 12]

## 7.1 分布式事务 ##

*  [分布式-事务][- 12]
 *  [分布式-事务-阿里Fescar][-_-_Fescar]

## 7.2 CAP ##

*  [分布式-CAP][-CAP]
 *  [有赞-CAP 一致性协议及应用解析][-CAP 1]

## 7.3 一致性协议 ##

*  [一个关于paxos的故事…][paxos]
 *  [大数据生态圈里的一致性算法][Link 39]

## 7.4 系统设计 ##

*  [分布式-系统设计][- 13]

# 8 云服务 #

## 8.1 阿里云 ##

*  [DataWorks][]

# 9 企业实践 #

## 9.1 搜索 ##

*  [有赞搜索系统的架构演进][- 6]

## 9.2 大数据平台 ##

### 9.2.1 大数据平台综合 ###

### 9.2.2 调度系统 ###

*  [饿了么调度系统全解][Link 40]

### 9.2.3 流式处理 ###

*  [Spark & Alluxio在网易严选架构演进中的实践和探索][Spark _ Alluxio]
 *  [Spark在美团的实践][Spark 2]
 *  [实时计算引擎在贝壳的应用与实践][Link 41]

### 9.2.4 批处理 ###

## 9.3 数据仓库 ##

### 9.3.1 传统数仓 ###

### 9.3.2 实时数仓 ###

*  [美团点评基于 Flink 的实时数仓建设实践][Flink 7]

## 9.4 技术选型 ##

*  [滴滴出行技术总监：关于技术选型的那些事儿][Link 42]

## 9.5 组件升级 ##

*  [携程 Kafka 升级到2.0的实战经验][Kafka _2.0]

# 10 测试数据 #

*  [data-generator][]

# 参考文档 #

*  [网易大数据软件架构][Link 43]
 *  [hive和hbase本质区别][hive_hbase]
 *  [大数据OLAP与OLTP分析][OLAP_OLTP]

[SparkSQLJoin]: https://blog.csdn.net/baichoufei90/article/details/89610000
[CBO]: http://hbasefly.com/2017/05/04/bigdata%EF%BC%8Dcbo/
[Join]: http://hbasefly.com/2017/04/10/bigdata-join-2/
[SparkSQL _ _0_1_Catalyst]: http://hbasefly.com/2017/03/01/sparksql-catalyst/
[Link 1]: https://mp.weixin.qq.com/s/nRLur6aBXrIrwPE4AzfERw
[Link 2]: https://mp.weixin.qq.com/s/KvvluiZemfcDHCh_5TSVzA
[SQL on Hadoop]: https://blog.csdn.net/baichoufei90/article/details/85260495
[Link 3]: https://www.cnblogs.com/sundy818/p/10382478.html
[SQL Boy]: https://mp.weixin.qq.com/s/CaK47bHtmvTLIKhObC5J-Q
[-]: https://blog.csdn.net/baichoufei90/article/details/93748200
[Link 4]: https://blog.csdn.net/baichoufei90/article/details/93744041
[Link 5]: https://mp.weixin.qq.com/s/NMTNaaYtDMZLl35GfkmagQ
[Link 6]: https://mp.weixin.qq.com/s/1yWtyiOv7nXOXg9LYw1qnQ
[Link 7]: https://mp.weixin.qq.com/s/vkLQYnj6Tfn7v9zEZvI85g
[Link 8]: https://mp.weixin.qq.com/s/Rtd47Txp6SY_DfQBGoa2hQ
[EDW2019-]: https://mp.weixin.qq.com/s/8Mu_lfbT74hGHqcDn2k2eg
[Link 9]: https://blog.csdn.net/baichoufei90/article/details/86554840
[Link 10]: https://blog.csdn.net/baichoufei90/article/details/85264100
[Apache]: http://archive.apache.org/dist/
[MavenJar]: https://repo1.maven.org/maven2
[Maven]: https://mvnrepository.com/
[MQ]: https://mp.weixin.qq.com/s/4SvYWm48DbNdF_ugGbd8EA
[-RabbitMQ _ Kafka]: https://blog.csdn.net/baichoufei90/article/details/83795829
[Kafka]: https://blog.csdn.net/baichoufei90/article/details/83827334
[Kafka_HW_leader epoch]: https://blog.csdn.net/baichoufei90/article/details/84959829
[Kafka-0.8.2.1]: https://blog.csdn.net/baichoufei90/article/details/82885538
[Kafka _ API]: https://www.jianshu.com/p/6e89db47c116
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70]: /images/20220131/552629c3caa8491d96867ec314595717.png
[Github-KSQL]: https://github.com/confluentinc/ksql
[-KSQL]: https://docs.confluent.io/current/ksql/docs/
[KSQL]: https://my.oschina.net/u/3917490/blog/1926994
[KSQL 1]: https://my.oschina.net/guol/blog/2236817
[KSQL_Apache Kafka_SQL]: https://blog.csdn.net/qiansg123/article/details/80131431
[Apache Kafka_KSQL]: http://www.uml.org.cn/sjjm/201807113.asp
[-KSQL 1]: https://gitee.com/mirrors/KSQL/
[KSQL_Flink SQL]: https://blog.csdn.net/weixin_34067980/article/details/85995983
[Apache Pulsar]: https://mp.weixin.qq.com/s/I_8jGDuFpOoJOn0fa03LZw
[Kafka_Apache Pulsar]: https://www.jianshu.com/p/8e25520372f5
[Zookeeper]: https://blog.csdn.net/baichoufei90/article/details/88183532
[Zookeeper_-]: https://mp.weixin.qq.com/s/mJIwExN3ue0ygT5hA2wS1A
[Avro]: https://www.jianshu.com/p/a5c0cbfbf608
[Avro_Spark]: http://www.cnblogs.com/Henry-pan/p/7242584.html
[Avro_maven]: http://bigdataer.net/?p=640
[- 1]: https://blog.csdn.net/baichoufei90/article/details/100577351
[Apache-Calcite]: http://calcite.apache.org
[Calcite-]: https://blog.csdn.net/junerli/article/details/78286575
[Calcite-_MySql]: http://www.imooc.com/article/278658
[Calcite- 1]: https://blog.csdn.net/hjw199089/article/category/7337386
[Calcite- 2]: https://blog.csdn.net/wzqllwy/article/details/78913020
[Calcite- 3]: https://blog.csdn.net/qq_21383435/article/details/85091188
[Calcite-_ RBO_ CBO]: https://www.jianshu.com/p/2dfbd71b7f0f
[Calcite-_Hive CBO]: https://www.jianshu.com/p/a6134865adf6
[Calcite- 4]: https://blog.csdn.net/yu616568/article/details/49915577
[Calcite-_Mysql]: https://blog.csdn.net/czq850114000/article/details/80697283
[Calcite-Elasticsearch]: https://blog.csdn.net/china_world/article/details/51141072
[Calcite-_SQL]: https://blog.csdn.net/zxy18210943475/article/details/78725727
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 1]: /images/20220131/1b3088bd08ed46d9947f86c69e37165b.png
[Apache-Calcite-Avatica]: http://calcite.apache.org/avatica/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 2]: /images/20220131/2fe49c3ecfc84e26a63c1c6b49a55e2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 3]: /images/20220131/89d3b7991db24c1b8e535f56e1354385.png
[- 2]: https://blog.csdn.net/a331685690/article/details/82145622
[1]: https://sq.163yun.com/blog/article/215188079613112320
[2]: http://blog.itpub.net/31077337/viewspace-2212906/
[3]: https://www.codercto.com/a/24785.html
[Link 11]: https://www.sohu.com/a/203539847_444159
[Link 12]: https://cloud.tencent.com/developer/news/51446
[Link 13]: https://blog.csdn.net/dev_csdn/article/details/78625404
[Link 14]: https://segmentfault.com/a/1190000016106115
[Link 15]: http://blog.itpub.net/31077337/viewspace-2153971/
[Link 16]: https://myslide.cn/slides/15294
[Link 17]: https://zhuanlan.zhihu.com/p/26359613
[Link 18]: https://segmentfault.com/a/1190000003896185
[Link 19]: http://dy.163.com/v2/article/detail/D16G2G5P0511HAGF.html
[-SQL on Hadoop]: http://database.51cto.com/art/201905/597285.htm
[-_Data Platform]: https://tech.youzan.com/data_platform/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 4]: /images/20220131/7ade5679b8644c07bfc099a5966b914e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 5]: /images/20220131/9813b6ed78f74fc281ae46bcb21c6d9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 6]: /images/20220131/634192bb50fe46eeadcbc3976f16a51d.png
[Link 20]: https://blog.csdn.net/zwgdft/article/details/53542597
[- 3]: https://cloud.tencent.com/developer/article/1424191
[Flume_azkaban_sqoop]: https://www.cnblogs.com/dengrenning/articles/9508909.html
[Flume-]: https://blog.csdn.net/baichoufei90/article/details/87026990
[Flume]: https://blog.csdn.net/baichoufei90/article/details/86098530
[Flume_-]: https://blog.csdn.net/baichoufei90/article/details/82954488
[Flume- 1]: https://blog.csdn.net/baichoufei90/article/details/99676174
[Canal]: https://www.jianshu.com/p/87944efe1005
[MySQL_Canal]: https://www.cnblogs.com/jager/p/6594941.html
[-Canal]: http://zqhxuyuan.github.io/2017/10/10/Midd-canal/
[Mysql_Canal]: https://blog.csdn.net/tzbugs/article/details/82142964
[Canal-]: https://agapple.iteye.com/blog/1831873
[Binlog _ Canal _ MySQL]: https://blog.csdn.net/zjerryj/article/details/77152226
[canal_mysql_elasticsearch]: https://blog.csdn.net/flyawayjh/article/details/80990221
[Canal-Java-API]: https://www.cnblogs.com/manmanrenshenglu/p/9013465.html
[Canal-Java-API2]: https://shift-alt-ctrl.iteye.com/blog/2399603
[maxwells-daemon]: https://maxwells-daemon.io/
[MySQL Binlog _ Maxwell]: https://blog.csdn.net/wwwdc1012/article/details/88388552
[binlog_----Maxwell]: https://blog.csdn.net/wangpei1949/article/details/81556589
[binlog_ Maxwell _Kafka]: https://www.cnblogs.com/GuoSamael/p/9772392.html
[HDFS]: https://blog.csdn.net/baichoufei90/article/details/83594212
[Hadoop_fs.defaultFS_ dfs.name.dir _ dfs.data.dir]: https://blog.csdn.net/u011630575/article/details/69382316
[HDFS-_-]: https://www.jianshu.com/p/1cca7997cd80
[Apache CarbonData]: https://www.iteblog.com/archives/2353.html
[CarbonData QuickStart]: http://zqhxuyuan.github.io/2017/07/13/CarbonData-In-Action/
[Redis]: https://blog.csdn.net/baichoufei90/article/details/87613913
[Redis_-]: https://blog.csdn.net/baichoufei90/article/details/83117608
[Redis_-FAQ]: https://blog.csdn.net/baichoufei90/article/details/82874986
[Redis_- 1]: https://blog.csdn.net/baichoufei90/article/details/82874941
[Redis- info_-]: https://www.jianshu.com/p/03975fad0620
[MemCache]: https://www.cnblogs.com/xrq730/p/4948707.html
[Link 21]: https://blog.csdn.net/baichoufei90/article/details/95976729
[Yarn]: https://blog.csdn.net/baichoufei90/article/details/82706873
[Yarn-]: https://blog.csdn.net/baichoufei90/article/details/89716059
[YARN-_-]: https://www.jianshu.com/p/23c8464f2d08
[Link 22]: https://www.cnblogs.com/uncledata/p/11155350.html
[Spark _ spark streaming]: https://www.jianshu.com/p/a7ad56fa95e4
[-Spark _ spark streaming]: https://www.cnblogs.com/liuliliuli2017/p/6809094.html
[Spark Streaming _0.1 Spark Streaming]: https://github.com/lw-lin/CoolplaySpark/blob/master/Spark%20Streaming%20%E6%BA%90%E7%A0%81%E8%A7%A3%E6%9E%90%E7%B3%BB%E5%88%97/0.1%20Spark%20Streaming%20%E5%AE%9E%E7%8E%B0%E6%80%9D%E8%B7%AF%E4%B8%8E%E6%A8%A1%E5%9D%97%E6%A6%82%E8%BF%B0.md#24
[Apache Livy 0.5.0]: https://www.jianshu.com/p/58a0c26373b2
[Livy_Apache Spark_REST]: http://www.raincent.com/content-85-9143-1.html
[Flink_-]: https://ververica.cn/
[Flink]: https://blog.csdn.net/baichoufei90/article/details/105674793
[Flink_1-]: https://blog.csdn.net/baichoufei90/article/details/82875496
[Flink_2-]: https://blog.csdn.net/baichoufei90/article/details/82884554
[Flink_3-API]: https://blog.csdn.net/baichoufei90/article/details/82891909
[-_Flink]: https://mp.weixin.qq.com/s/LlYUBEc1iNQsrvCoCa4P6w
[Jark-Flink]: http://wuchong.me/categories/Flink/page/3/
[Apache Flink _Runtime _]: https://mp.weixin.qq.com/s/TBzzGTNFTzVLjFQdzz-LuQ
[Apache Flink]: https://mp.weixin.qq.com/s/2VMsTvCW9eshEnB-Ak_cIw
[Apache Flink _Checkpoint]: https://mp.weixin.qq.com/s/QCVWSYZDeQQJjjuQtINZ4A
[Apache Flink _Flink on Yarn _ K8s]: https://mp.weixin.qq.com/s/sVdI61Un8C8ycArdrwgmTg
[Apache Flink 1]: https://mp.weixin.qq.com/s/oBmRhRA-52CLRLXp6sZwEw
[Apache Flink 2]: https://mp.weixin.qq.com/s/1ssipS4vseDf1cgXQHxBRw
[OPPO _ Flink]: https://www.infoq.cn/article/LUg_43RoU9rUTdHBCpsT
[Flink 1]: https://www.infoq.cn/article/Lrg1J4*tWOak2WLqKyhF
[Flink 2]: https://www.infoq.cn/article/TjDeQDJQpKZ*NpG71pRW
[OPPO_Flink SQL]: https://www.jianshu.com/p/33b73975d423
[Flink 3]: http://www.sohu.com/a/312339341_617676
[Flink 4]: https://mp.weixin.qq.com/s/JT6BZzsAM8D8p9F99VmeFw
[Flink 5]: https://mp.weixin.qq.com/s/EN4GKyaeweSlJ-zZJ7UDhg
[Flink SQL Window]: https://mp.weixin.qq.com/s/UkpkS_JiRGR0ibZKYechbg
[Flink 6]: https://mp.weixin.qq.com/s/xRqrojjFITuhswtjNJo7OQ
[Hadoop-MapReduce]: https://blog.csdn.net/baichoufei90/article/details/86633369
[Hadoop Streaming]: https://blog.csdn.net/baichoufei90/article/details/82861440
[Hadoop MapReduce _ Spark _ Shuffle]: https://blog.csdn.net/yuanxiaojun1990/article/details/50360261
[MapReduceshuffle]: https://www.2cto.com/net/201607/527662.html
[MapReduce_Tez]: https://www.cnblogs.com/linn/p/5325147.html
[SparkSQL]: https://segmentfault.com/a/1190000017918500?utm_source=tag-newest
[Spark-SparkSQLJoin]: https://blog.csdn.net/baichoufei90/article/details/89609999
[Spark-]: https://blog.csdn.net/baichoufei90/article/details/89483784
[Spark- 1]: https://blog.csdn.net/baichoufei90/article/details/89446870
[Spark]: https://blog.csdn.net/baichoufei90/article/details/89357829
[-_fastutil]: https://blog.csdn.net/u013939918/article/details/60882806
[spark_fastutil]: https://blog.csdn.net/hutao_hadoop/article/details/52694435
[DataSet_DataFrame_RDD-]: https://www.jianshu.com/p/2614e895e86b
[scala_-]: https://www.jianshu.com/p/816bdfb93f05
[Spark 1]: https://github.com/JerryLead/SparkInternals/tree/master/markdown
[OLAP]: https://zhuanlan.zhihu.com/p/55197560
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 7]: /images/20220131/59ac1539b9c54fea8d0ad25fabd2a083.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 8]: /images/20220131/6b3f0cf92c59450c893dd8a3e0cd0039.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 9]: /images/20220131/c649cd8380fb4e77ae9b179da754b220.png
[_OLAP]: http://www.360doc.com/content/17/0711/13/35497398_670534642.shtml
[Kylin_Druid_ClickHouse]: https://mp.weixin.qq.com/s/42T8w-i5nxgcv4o8Ls_asg
[ClickHouse_Druid]: https://zhuanlan.zhihu.com/p/338393059
[OLAP 1]: https://suncle.me/2019/08/02/Comparison-of-the-Open-Source-OLAP-Systems-for-BigData/
[Comparison of the Open Source OLAP Systems for Big Data_ ClickHouse_ Druid_ and Pinot]: https://medium.com/@leventov/comparison-of-the-open-source-olap-systems-for-big-data-clickhouse-druid-and-pinot-8e042a5ed1c7
[Druid_ClickHouse _ eBay_OLAP]: https://my.oschina.net/u/4590259/blog/4815196
[Apache Druid_ OLAP]: https://yuzhouwan.com/posts/5845/
[Druid_02 -]: https://blog.csdn.net/qq_31866793/article/details/103682557
[OLAP_]: https://www.sohu.com/a/284543637_817016
[OLAP_Druid]: https://www.itcodemonkey.com/article/12448.html
[Apache Druid _ -]: https://blog.csdn.net/lsshlsw/article/details/99861966
[Benchmark]: https://clickhouse.yandex/benchmark.html
[Amazon RedShift]: https://www.altinity.com/blog/2017/6/20/clickhouse-vs-redshift
[ClickHouse]: https://www.percona.com/blog/2017/02/13/clickhouse-new-opensource-columnar-database/
[OLAP_SparkSql_Presto_Impala_HAWQ_ClickHouse_GreenPlum]: http://www.clickhouse.com.cn/topic/5c453371389ad55f127768ea
[TiDB_ClickHouse]: https://blog.csdn.net/yye894817571/article/details/89075567
[ClickHouse 1]: https://clickhouse.yandex/docs/zh/
[ClickHouse 2]: http://www.clickhouse.com.cn/
[ClickHouse 3]: https://clickhouse.yandex/docs/zh/introduction/distinctive_features/
[-ClickHouse]: https://clickhouse.yandex/
[ClickHouse 4]: https://segmentfault.com/a/1190000016566519
[-ClickHouse 1]: https://zhuanlan.zhihu.com/p/22165241
[ClickHouse_-]: https://developer.aliyun.com/article/739803?spm=a2c6h.12873581.0.0.144f7de1Lxro1n&groupCode=cloudproduct
[Hive]: https://blog.csdn.net/baichoufei90/article/details/100929550
[-Hive]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual
[-HiveConfiguration]: https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties
[Hive-]: https://blog.csdn.net/baichoufei90/article/details/96482079
[Apache Hive]: https://mp.weixin.qq.com/s/X4H6-_8gz07DrUwORs0ePg
[HiveCasCade-_column]: https://www.jianshu.com/p/89ef58b47e27
[Impala_hive]: https://blog.csdn.net/lukabruce/article/details/82970502#t23
[Elasticsearch]: https://elasticsearch.cn/slides/
[Elasticsearch 1]: https://blog.csdn.net/itsoftchenfei/category_9285825.html
[ElasticSearch]: https://yuzhouwan.com/posts/22654/
[Elasticsearch 2]: https://blog.csdn.net/wangzhen3798/article/details/89452671
[Elasticsearch5.x]: https://blog.csdn.net/qq_24365213/article/details/78119653
[Elasticsearch 3]: https://blog.csdn.net/zwgdft/article/details/83478241
[Elasticsearch 4]: https://blog.csdn.net/zwgdft/article/details/83619905#commentBox
[Elasticsearch_-Doc_Segment]: https://blog.csdn.net/baichoufei90/article/details/82901270
[Elasticsearch_-]: https://blog.csdn.net/baichoufei90/article/details/82888237
[Elasticsearch_-_DocValues_FieldData]: https://blog.csdn.net/baichoufei90/article/details/82669234
[23_ElasticSearch]: https://www.iteblog.com/archives/1730.html
[Elasticsearch 5.4 JAVA API]: https://www.jianshu.com/p/40b7fbc924b1
[HLLC_]: http://www.sohu.com/a/285007716_771850
[cardinality_HLL]: https://blog.csdn.net/wuzhiwei549/article/details/80476156
[-Cardinality Aggregationedit]: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-metrics-cardinality-aggregation.html
[- 4]: https://www.elastic.co/guide/cn/elasticsearch/guide/current/cardinality.html
[- 5]: https://www.cnblogs.com/richaaaard/p/5319299.html
[Elasticsearch 5]: https://pdf.us/2018/05/16/1050.html
[Elasticsearch_- 1]: https://blog.csdn.net/sz85850597/article/details/82858820
[Elasticsearch 6]: https://blog.csdn.net/u014078154/article/details/81564077
[Elasticsearch 7]: https://blog.csdn.net/zwgdft/article/details/53868754
[Elasticsearch_Index_Shard]: https://blog.csdn.net/zwgdft/article/details/86416668
[Elasticsearch 8]: https://blog.csdn.net/zwgdft/article/details/82917861
[ELK]: https://blog.csdn.net/zwgdft/article/details/53842574
[Elasticsearch_X-Pack]: https://blog.csdn.net/yunqiinsight/article/details/80133246
[-_ElasticSearch]: https://elasticsearch.cn/slides/205#page=1
[Elastic Stack]: https://elasticsearch.cn/slides/204#page=1
[- 6]: https://segmentfault.com/a/1190000016266836
[-Elasticsearch]: https://elasticsearch.cn/slides/170
[-_ ES]: https://elasticsearch.cn/slides/209
[-PB_Elasticsearch]: https://elasticsearch.cn/article/6171
[-Elasticsearch 1]: https://elasticsearch.cn/slides/226
[-Elasticsearch 2]: https://elasticsearch.cn/slides/195
[-ElasticSearch]: https://elasticsearch.cn/slides/198
[-_K8S_ES]: https://elasticsearch.cn/slides/221
[-_ES]: https://elasticsearch.cn/slides/196#page=1
[-Elasticsearch 3]: https://elasticsearch.cn/slides/203#page=1
[Elasticsearch 9]: https://mp.weixin.qq.com/s/K44-L0rclaIM40hma55pPQ
[Elasticsearch Query DSL]: https://elasticsearch.cn/slides/171
[-ES]: https://elasticsearch.cn/slides/157
[-ES 1]: https://elasticsearch.cn/slides/206
[-Elasticsearch 4]: https://elasticsearch.cn/slides/224#page=1
[-Elasticsearch 5]: https://elasticsearch.cn/slides/193
[-_Elasticsearch]: https://elasticsearch.cn/slides/183#page=2
[Elasticsearch 10]: https://elasticsearch.cn/slides/210#page=1
[Elasticsearch 11]: https://elasticsearch.cn/slides/199#page=1
[Elasticsearch_esrally]: https://blog.csdn.net/wuxiao5570/article/details/56291834
[HBase]: https://blog.csdn.net/baichoufei90/article/details/84890472
[HBase 1]: http://hbase.group/
[HBase 2]: https://www.jianshu.com/p/008a1bf2ac5c
[Phoenix]: https://blog.csdn.net/baichoufei90/article/details/85732043
[Impala_-]: https://blog.csdn.net/baichoufei90/article/details/83276716
[Impala_-JDBC]: https://blog.csdn.net/baichoufei90/article/details/83106010
[Impala]: https://www.jianshu.com/p/f101055ade2c
[impala]: https://blog.csdn.net/javajxz008/article/details/50523332
[SQL_-Impala]: https://blog.csdn.net/yu616568/article/details/52431835
[Cloudera Impala]: http://shiyanjun.cn/archives/507.html
[impala 1]: https://www.w3cschool.cn/impala/impala_overview.html
[Impala Shell]: https://blog.csdn.net/zhangshenghang/article/details/83993455#1%E6%9B%B4%E6%96%B0%E5%85%83%E6%95%B0%E6%8D%AE
[Impala shell]: https://www.cnblogs.com/zlslch/p/6785596.html
[impala_kudu_kudu]: https://www.cnblogs.com/niutao/p/10555460.html
[Impala 1]: https://my.oschina.net/weiqingbin/blog/192612?_t=t
[CDH-Impala Performance Guidelines and Best Practices]: https://www.cloudera.com/documentation/enterprise/5-8-x/topics/impala_perf_cookbook.html#perf_cookbook__perf_cookbook_hotspot
[CDH-Controlling Impala Resource Usage]: https://www.cloudera.com/documentation/enterprise/5-8-x/topics/impala_perf_resources.html#mem_limits
[Impala_cdh-5.8.x]: http://www.voidcn.com/article/p-bhmwfwga-bqt.html
[-_Impala]: https://blog.csdn.net/wangyiyungw/article/details/82219749
[-_Impala 1]: https://zhuanlan.zhihu.com/p/43517362
[kudu]: https://www.jianshu.com/p/d91761c63a45
[CDH]: https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_513x.html#concept_8ur_obn_yk
[Apache Kudu _ Impala Shell]: https://blog.csdn.net/lovebyz/article/details/77372907
[impala _ kudu]: https://www.jianshu.com/p/a49e68c0015b
[Kudu_Kudu_Impala]: https://blog.csdn.net/high2011/article/details/80988977
[CDH-kudu-spark github]: https://github.com/cloudera/kudu/tree/master/java/kudu-spark
[CDH-Spark on Kudu]: https://blog.cloudera.com/blog/2017/02/up-and-running-with-apache-spark-on-apache-kudu/
[KuduCRUD]: https://github.com/xieenze/SparkOnKudu/blob/master/src/main/scala/com/spark/test/KuduCRUD.scala
[Spark Kudu]: https://blog.csdn.net/a1043498776/article/details/72681890
[Apache-kudu Kudu-Spark-example]: https://github.com/apache/kudu/tree/master/examples/scala/spark-example
[SparkOnKudu]: https://github.com/xieenze/SparkOnKudu
[java_kudu_sparksql]: https://www.jianshu.com/p/ef1a621fc6ea
[SparkStreaming_Kafka_Kudu]: https://cloud.tencent.com/developer/article/1158193
[Spark 2.2.1 _ Kudu 1.5.0]: https://blog.csdn.net/duan_zhihua/article/details/81907063
[Apache Doris]: https://blog.csdn.net/jack_shuai/article/details/104895601
[Apache Doris 1]: https://blog.csdn.net/huzechen/article/details/105424503
[Apache Doris_OLAP]: https://zhuanlan.zhihu.com/p/296760219
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 10]: /images/20220131/b951b8f9742045cdbb312d0865a6ca1a.png
[Presto]: https://tech.meituan.com/2014/06/16/presto.html
[Presto 1]: https://my.oschina.net/guol/blog/891156
[- 7]: https://help.aliyun.com/document_detail/118931.html?spm=a2c4g.11186623.6.944.6c4d4aa6ROueCD
[Link 23]: https://www.cnblogs.com/cescyang/p/6017608.html
[Link 24]: http://www.sohu.com/a/52786595_116235
[Link 25]: https://mp.weixin.qq.com/s/2ObrmWBtwznsJmCMkoJLBw
[Zeppelin]: https://www.cnblogs.com/smartloli/p/5148941.html
[Apache Zeppelin]: https://www.cnblogs.com/wangsongbai/p/9116146.html
[Zeppelin 1]: https://segmentfault.com/a/1190000005673104
[Superset vs Redash vs Metabase]: https://blog.csdn.net/ronon77/article/details/84914749
[Hue In Hadoop]: https://www.cnblogs.com/smartloli/p/4527168.html
[hue_oozie]: https://www.cnblogs.com/mr-ivan/p/6593550.html
[azkaban]: https://www.cnblogs.com/biehongli/p/8036422.html
[2018_Airflow_Azkaban_Conductor_Oozie_ Amazon Step Functions]: https://www.jdon.com/workflow/Airflow-vs-Azkaban-vs-Conductor-vs-Oozie-vs-Amazon-Step-Functions.html
[- 8]: https://blog.csdn.net/baichoufei90/article/category/8821280
[Azkaban documentation]: https://azkaban.readthedocs.io/en/latest/
[Azkaban]: https://blog.csdn.net/jkdcdlly/article/details/53227253
[Azkaban3.0]: https://blog.csdn.net/qq_25122861/article/details/76539685
[Azkaban 1]: https://blog.csdn.net/sinat_33641737/article/details/78502621
[Azkaban 2]: https://www.jianshu.com/p/484564beda1d
[Azkaban-]: https://blog.csdn.net/helloxiaozhe/article/details/81224501
[Azkaban 3]: https://segmentfault.com/a/1190000018508012?utm_source=tag-newest
[Azkaban HDFS Hive]: https://blog.csdn.net/zuochang_liu/article/details/81635439
[Azkaban HDFS Hive SQL]: https://blog.csdn.net/guohan_solft/article/details/79334344
[Azkaban 4]: https://blog.csdn.net/ProfoundOx/article/details/78888183
[Azkaban- 1]: https://blog.csdn.net/huoji1990/article/details/81911904
[Azkaban- 2]: https://www.jianshu.com/p/1673f1577589
[Azkaban 5]: http://srcct.com/2016/06/09/2016/Azkaban%20%E7%9F%AD%E4%BF%A1%E9%A2%84%E8%AD%A6%E6%8F%92%E4%BB%B6%E5%BC%80%E5%8F%91/
[azkaban 1]: http://thousandhu.github.io/2016/01/07/azkaban%E5%AE%9A%E5%88%B6/
[azkaban 2]: https://blog.csdn.net/qq_35036995/article/details/81212613
[Azkaban 6]: https://blog.csdn.net/hg_harvey/article/details/80592186
[Hue_Oozie]: https://blog.csdn.net/zkf541076398/article/details/79941581
[EDW2019- 1]: https://mp.weixin.qq.com/s/uQJpNr7X35Y9oNW5CFIJzA
[- 9]: https://help.aliyun.com/document_detail/144463.html?spm=a2c4g.11186623.6.902.6c4d4aa6ROueCD
[- 10]: https://help.aliyun.com/document_detail/73678.html?spm=a2c4g.11186623.6.925.6c4d4aa6ROueCD
[MVP Meetup]: https://yq.aliyun.com/articles/594426
[Link 26]: https://msd.misuland.com/pd/2884250103256712332?page=1
[Link 27]: https://www.sohu.com/a/150386938_116235
[Link 28]: https://blog.csdn.net/zhaodedong/article/details/89322066
[Link 29]: https://www.cnblogs.com/163yun/p/9675553.html
[Link 30]: https://blog.csdn.net/weixin_33866037/article/details/88719551
[- 11]: https://mp.weixin.qq.com/s/eeCMg1A1pC67GGc8XNTRjw
[Link 31]: https://mp.weixin.qq.com/s/tH0DIS2WcCFFgLF3YjjbVA
[prometheus]: /images/20220131/8f177ab3b60d4ec185ca228fe7e85832.png
[prometheus 1]: https://www.cnblogs.com/yangxiaoyi/p/7398156.html
[prometheus.io]: https://prometheus.io/
[prometheus 2]: https://blog.csdn.net/u010453363/article/details/76689435
[Prometheus]: https://github.com/1046102779/prometheus
[Github-JMX Exporter]: https://github.com/prometheus/jmx_exporter
[Github-Kafka Exporter]: https://github.com/danielqsj/kafka_exporter
[Grafana import]: https://grafana.com/docs/reference/export_import/
[Prometheus _ Zabbix]: https://yq.aliyun.com/articles/664669
[JMX exporter_Prometheus_Grafana_Hadoop]: https://www.cnblogs.com/caizhenghui/p/9132414.html
[Link 32]: https://blog.csdn.net/zwgdft/article/details/53244366
[Link 33]: https://blog.csdn.net/zwgdft/article/details/53467974
[Link 34]: https://blog.csdn.net/zwgdft/article/details/54314999
[Link 35]: https://blog.csdn.net/zwgdft/article/details/54728677
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 11]: /images/20220131/1e01afe621de4039b60245f4a19bbfee.png
[Link 36]: https://blog.csdn.net/zhaodedong/article/details/85293955
[Link 37]: https://blog.csdn.net/baichoufei90/article/details/87880848
[Link 38]: https://blog.csdn.net/baichoufei90/article/details/84952213
[Flink 7]: https://tech.meituan.com/2018/10/18/meishi-data-flink.html
[_ _ OLAP]: https://blog.csdn.net/valada/article/details/100868039
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JhaWNob3VmZWk5MA_size_16_color_FFFFFF_t_70 12]: /images/20220131/9a4d8559df7b452682fb27bf718483bb.png
[- 12]: https://blog.csdn.net/baichoufei90/article/details/88538820
[-_-_Fescar]: https://blog.csdn.net/baichoufei90/article/details/86645597
[-CAP]: https://blog.csdn.net/baichoufei90/article/details/88538689
[-CAP 1]: https://segmentfault.com/a/1190000018275818
[paxos]: https://www.cnblogs.com/uncleData/p/9708496.html
[Link 39]: https://yuzhouwan.com/posts/54206/
[- 13]: https://blog.csdn.net/baichoufei90/article/details/88248309
[DataWorks]: https://segmentfault.com/a/1190000016313635
[Link 40]: http://bigdata.51cto.com/art/201811/587874.htm
[Spark _ Alluxio]: https://mp.weixin.qq.com/s/ItbWbqk_LBwsr5AFmiQnTQ
[Spark 2]: https://tech.meituan.com/2016/03/31/spark-in-meituan.html
[Link 41]: https://mp.weixin.qq.com/s/QeS3PpfwJuxjAUQevVtkyQ
[Link 42]: https://news.cnblogs.com/n/563792/
[Kafka _2.0]: https://cloud.tencent.com/developer/news/377416
[data-generator]: https://gitee.com/ysc/data-generator
[Link 43]: https://blog.csdn.net/weixin_41150408/article/details/90513776
[hive_hbase]: https://yq.aliyun.com/articles/397965
[OLAP_OLTP]: https://www.iteye.com/blog/m635674608-2238483