大数据技术整理

素颜马尾好姑娘i 2022-01-23 14:17 326阅读 0赞

**目录**

一. Hadoop

Hadoop

Yarn

MapReduce

Hdfs

CDH|Cloudera Manager

二. 数据分析

Hive

Impala

三. 离线和实时数据处理

Flink

Spark

Storm

Kafka

四. OLAP分析平台

Kylin

五. 日志数据采集工具

Flume

ELK(Elasticsearch、Logstash、Kibana)

六. ETL工具

Sqoop

七. Nosql数据库

Hbase

Redis

Mongo

Cassandra

InfluxDB

OpenTSDB

八. 调度平台

Azkaban

九. RDBMS数据库

Mysql

--------------------

# 一. Hadoop #

###    Hadoop ###

### Yarn ###

###    MapReduce ###

###    Hdfs ###

###    CDH|Cloudera Manager ###

#    二. 数据分析 #

###    Hive ###

[hive数据倾斜优化策略][hive]

[Hive的性能优化以及数据倾斜][Hive]

###    Impala ###

# 三. 离线和实时数据处理 #

###    Flink ###

[flink流处理访问mysql][flink_mysql]

[Flink自定义DataSource之MysqlSource][Flink_DataSource_MysqlSource]

[批处理和流处理][Link 1]

###    Spark ###

[批处理和流处理][Link 1]

###    Storm ###

[批处理和流处理][Link 1]

###    Kafka ###

[Kafka实践][Kafka]

# 四. OLAP分析平台 #

###    Kylin ###

[大数据分析界的“神兽”Apache Kylin有多牛？][Apache Kylin]

# 五. 日志数据采集工具 #

###    Flume ###

[Flume学习之路][Flume]系列

###    ELK(Elasticsearch、Logstash、Kibana) ###

# 六. ETL工具 #

###    Sqoop ###

#    七. Nosql数据库 #

###    Hbase ###

[Hbase的应用场景、原理及架构分析][Hbase]

[Hbase原理、基本概念、基本架构][Hbase 1]

[HBase的RowKey设计][HBase_RowKey]

[HBase学习之六: hbase的预分区设计][HBase_ hbase]

[Rowkey设计][Rowkey]

[HBase RowKey散列和预分区][HBase RowKey]

[hbase建表时region预分区的方法][hbase_region]

[Hbase实践][Hbase 2]

[Hbase实践之结合Spring][Hbase_Spring]

### Redis ###

###    Mongo ###

###    Cassandra ###

###    InfluxDB ###

###    OpenTSDB ###

# 八. 调度平台 #

### Azkaban ###

# 九. RDBMS数据库 #

###    Mysql ###

[hive]: https://blog.csdn.net/qq_35036995/article/details/80298403
[Hive]: https://www.jianshu.com/p/daa4e7c86925
[flink_mysql]: https://blog.csdn.net/u012447842/article/details/89175772
[Flink_DataSource_MysqlSource]: https://blog.csdn.net/a_drjiaoda/article/details/89187150
[Link 1]: https://blog.csdn.net/m0_37125796/article/details/89451739
[Kafka]: https://blog.csdn.net/m0_37125796/article/details/89189892
[Apache Kylin]: http://lxw1234.com/archives/2016/05/668.htm
[Flume]: https://www.cnblogs.com/qingyunzong/p/8994494.html
[Hbase]: https://blog.csdn.net/xiangxizhishi/article/details/75388971
[Hbase 1]: https://blog.csdn.net/woshiwanxin102213/article/details/17584043
[HBase_RowKey]: https://www.cnblogs.com/duanxz/p/4660784.html
[HBase_ hbase]: https://blog.csdn.net/javajxz008/article/details/51913471
[Rowkey]: https://help.aliyun.com/document_detail/59035.html?spm=a2c4g.11186623.2.10.21307764SPgvHm
[HBase RowKey]: https://blog.csdn.net/yjgithub/article/details/60963872
[hbase_region]: https://blog.csdn.net/chaolovejia/article/details/46375849#
[Hbase 2]: https://blog.csdn.net/m0_37125796/article/details/89155940
[Hbase_Spring]: https://blog.csdn.net/m0_37125796/article/details/89401323