Druid实时大数据笔记01

Bertha 。 2023-06-24 13:23 147阅读 0赞

以下内容都是来自：《Druid实时大数据分析原理与实践》

1，做这个笔记不知道能不能坚持下去，主要是想看这本书，使用Druid做尝试了解探索一下实时数仓。

2，最近没那么多时间研究，看一点十一点，有兴趣的同学可以留言以及联系我，我们一起讨论研究一下这个实时数仓怎么玩，也可以相互分享一下个人资料跟经验

一， 入门之前先了解一下Druid的一些特点跟基础认知：

1，快速的，列式的分布式的支持实时分析的数据存储系统，它比传统的OLAP系统有了显著的性能改进。

2，列式存储，可以扩展的分布式系统，大规模并行处理

3，实时，批量摄取 --实时跟离线都可以做

4，预聚合或预计算

二，适应的应用场景

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70][]

三，技术特点：

1，数据吞吐量大,几十或者上百亿没问题

2，支持流式数据摄入和实时

3，查询灵活且快

四，Druid的基础概念

1，数据格式：

![20191224115158526.png][]

1） 时间列：

每个数据集合都**必须有时间列**，这个列是数据聚合的重要维度，Druid会将时间很近的一些数据行聚合在一起。另外，所有的查询都需要指定查询时间范围。

2）维度列 --可以理解为维度条件

![20191224115407800.png][]

3） 指标列 --用于聚合和计算的列

指标列字段通常为数值类型，计算操作通常包括Count，Sum 和 Mean等。通常是业务的关键量化指标，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1][]

2，数据摄入，或者数据来源

1）实时数据摄入  ： kafka+Flink+Druid

2）离线批量摄入 ： Flink,Spark+Druid

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2][]

3，数据查询

Druid原生查询是才有JSON格式，通过HTTP传送，   不支持标准的SQL语言查询。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 3][]

五，Druid的性能指标

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 4][]

六，参考资料：

![20191224120201246.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191224113116829.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70
[20191224115158526.png]: https://img-blog.csdnimg.cn/20191224115158526.png
[20191224115407800.png]: https://img-blog.csdnimg.cn/20191224115407800.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20191224115616685.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2019122411572565.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20191224115921356.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20191224120008818.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxODY2Nzkz,size_16,color_FFFFFF,t_70
[20191224120201246.png]: https://img-blog.csdnimg.cn/20191224120201246.png