2023版大数据学习路线图（适合自学）

旧城等待， 2024-03-29 14:57 73阅读 0赞

随着信息产业的迅猛发展，大数据应用逐渐落地，行业人才需求量逐年扩大。大数据成为目前最具前景的高薪行业之一，大数据分析工程师、大数据开发工程师等大数据人才也成为市场紧缺型人才，薪资一涨再涨。

很多人想要加入到大数据开发行列，却又不知道怎么入手。接下来千锋小编就给大家分享一份完整的大数据学习路线，助力大家快速入门！

![48212bf2f2254de093fe7cded4fe95b4.png][]

### **第一阶段** ###

为JAVASE+MYSQL+JDBC，主要学习一些Java语言的概念，如字符、流程控制、面向对象、进程线程、枚举反射等，学习MySQL数据库的安装卸载及相关操作，学习JDBC的实现原理以及Linux基础知识，是大数据刚入门阶段。

![2b3a60778a14474ca5d187f1174c5720.png][]

### **第二阶段** ###

为分布式理论简介，主要讲解CAP理论、数据分布方式、一致性、2PC和3PC、大数据集成架构。涉及的知识点有Consistency一致性、Availability可用性、Partition tolerance分区容忍性、数据量分布、2PC流程、3PC流程、哈希方式、一致性哈希等。

![225ab32701b54207bb63fa9a9fd56ac2.png][]

### **第三阶段** ###

为数据存储与计算（离线场景），主要讲解协调服务ZK(1T)、数据存储hdfs(2T)、数据存储alluxio(1T)、数据采集flume、数据采集logstash、数据同步Sqoop(0.5T)、数据同步datax(0.5T)、数据同步mysql-binlog(1T)、计算模型MR与DAG(1T)、hive(5T)、Impala(1T)、任务调度Azkaban、任务调度airflow等。

![2fc3b9b3475c4874bfb1828ce1a3c443.png][]

### **第四阶段** ###

为数仓建设，主要讲解数仓仓库的历史背景、离线数仓项目-伴我汽车（5T）架构技术解析、多维数据模型处理kylin（3.5T）部署安装、离线数仓项目-伴我汽车升级后加入kylin进行多维分析等；

![9027a3114017496d8a7035e009f67697.png][]

### **第五阶段** ###

为分布式计算引擎。主要讲解计算引擎、scala语言、spark、数据存储hbase、redis、kudu，并通过某p2p平台项目实现spark多数据源读写。

![f9fc778456de40538f308dc3a0a52a79.png][]

### **第六阶段** ###

为数据存储与计算（实时场景），主要讲解数据通道Kafka、实时数仓druid、流式数据处理flink、SparkStreaming，并通过讲解某交通大数让你可以将知识点融会贯通。

![0816f3486fe648839e5272fea1d07521.png][]

### **第七阶段** ###

为数据搜索，主要讲解elasticsearch，包括全文搜索技术、ES安装操作、index、创建索引、增删改查、索引、映射、过滤等。

![1c740a2b6ea9418990dc698ec10d69c5.png][]

### **第八阶段** ###

为数据治理，主要讲解数据标准、数据分类、数据建模、图存储与查询、元数据、血缘与数据质量、Hive Hook、Spark Listener等。

![fb3638f008b54bfcacbc4796f271c02a.png][]

### **第九阶段** ###

为BI系统，主要讲解Superset、Graphna两大技术，包括基本简介、安装、数据源创建、表操作以及数据探索分析。

![f00694234e4e4d728f81f72370238f59.png][]

### **第十阶段** ###

为数据挖掘，主要讲解机器学习中的数学体系、Spark Mlib机器学习算法库、Python scikit-learn机器学习算法库、机器学习结合大数据项目。

![5e62decfd5fc4e4c9a70dcbff64ab37e.png][]

大数据时代已经来临，它将掀起滔天巨浪，如果你想把握这股浪潮，那就要及早入手。千锋大数据培训课程涵盖10大高薪行业，技术紧跟企业所需，实时离线处理分离，整合数据地图项目展示，真正做到项目企业化。学员学成毕业后可跳过初级中级大数据岗位，胜任大数据架构师、大数据研发部门leader，玩转大数据全栈研发、二次开发，解决企业疑难杂症！

[48212bf2f2254de093fe7cded4fe95b4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/f5f45b28180d4525892380980c04c1c3.png
[2b3a60778a14474ca5d187f1174c5720.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/651c9e05aed246bcbcf69468490f8937.png
[225ab32701b54207bb63fa9a9fd56ac2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/eac144b1a07b4564a3be6a85627e3c1f.png
[2fc3b9b3475c4874bfb1828ce1a3c443.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/431b603e68cd4e9fae54165adbcf8c2e.png
[9027a3114017496d8a7035e009f67697.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/7723518674f34eef9cb43bd714655405.png
[f9fc778456de40538f308dc3a0a52a79.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/76abec6d0a884c1aaf528b5d47f1cb2d.png
[0816f3486fe648839e5272fea1d07521.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/236f8ba19788459088a7a53a4bfcd86d.png
[1c740a2b6ea9418990dc698ec10d69c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/1693bc589093468db218cde8e97447d3.png
[fb3638f008b54bfcacbc4796f271c02a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/75d96850133c4744adb0a4cb038ae062.png
[f00694234e4e4d728f81f72370238f59.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/cc1abc50bacd4175a688ba743a80623d.png
[5e62decfd5fc4e4c9a70dcbff64ab37e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/28/5ab7852ca1ac492c82ca3fbbb25f1830.png