大数据运维架构师培训（4）：Oozie,Flume,Sqoop,Azkaban,Ranger

Dear 丶 2022-11-11 06:08 186阅读 0赞

**一、风哥大数据运维架构师实战培训专题2.0介绍**

**课程背景：**

为满足想学习和掌握大数据运维与体系架构的学员，风哥特别设计的一套比较系统的大数据库运维培训课程。

**课程目标：**

本套风哥大数据运维架构师实战培训课程，分5个阶段，分别是大数据Hadoop核心架构运维实战、大数据存储管理与查询分析实战、大数据计算框架与消息搜索实战、大数据安全调度与数据采集实战、大数据集群管理平台运维实战。学完本套风哥大数据课程可以熟悉Hadoop大数据生态技术框架，包括Cloudera CM/CDH/CDP、HDFS、Yarn、HBase、Hive、Phoenix、Zookeeper、Kafka、Solr、Spark、Flink、Storm、Flume、Sqoop、ETL/Kettle、ELK、Azkaban、Oozie、Ranger等组件安装配置与日常维护管理，同时熟悉ElasticSearch、ClickHouse、GreenPlum、TiDB等OLAP分布式大数据平台的建设与维护。

<table> 
 <tbody> 
  <tr> 
   <td colspan="3">风哥大数据运维架构师实战培训专题2.0</td> 
  </tr> 
  <tr> 
   <td colspan="3">专题链接：https://edu.51cto.com/topic/4539.html</td> 
  </tr> 
  <tr> 
   <td>阶段列表</td> 
   <td>课程大纲&nbsp;</td> 
   <td>单个课程学习地址</td> 
  </tr> 
  <tr> 
   <td>第一阶段<br> 大数据Hadoop核心架构运维实战</td> 
   <td>大数据基础与解决方案</td> 
   <td><a href="https://edu.51cto.com/course/27367.html" rel="nofollow">https://edu.51cto.com/course/27367.html</a></td> 
  </tr> 
  <tr> 
   <td>大数据平台运行环境规划</td> 
  </tr> 
  <tr> 
   <td>Zookeeper</td> 
  </tr> 
  <tr> 
   <td>Hadoop(HDFS,MR,Yarn)</td> 
  </tr> 
  <tr> 
   <td>第二阶段<br> 大数据存储管理与查询分析实战</td> 
   <td>Hbase</td> 
   <td><a href="https://edu.51cto.com/course/27368.html" rel="nofollow">https://edu.51cto.com/course/27368.html</a></td> 
  </tr> 
  <tr> 
   <td>Phoenix</td> 
  </tr> 
  <tr> 
   <td>Hive</td> 
  </tr> 
  <tr> 
   <td>Pig</td> 
  </tr> 
  <tr> 
   <td>Impala</td> 
  </tr> 
  <tr> 
   <td>Kudu</td> 
  </tr> 
  <tr> 
   <td>专题2.0附1：MySQL基础</td> 
   <td><a href="https://edu.51cto.com/course/17895.html" rel="nofollow">https://edu.51cto.com/course/17895.html</a></td> 
  </tr> 
  <tr> 
   <td>专题2.0附2：GreenPlum</td> 
   <td><a href="https://edu.51cto.com/course/23050.html" rel="nofollow">https://edu.51cto.com/course/23050.html</a></td> 
  </tr> 
  <tr> 
   <td>专题2.0附3：TiDB</td> 
   <td><a href="https://edu.51cto.com/course/25659.html" rel="nofollow">https://edu.51cto.com/course/25659.html</a></td> 
  </tr> 
  <tr> 
   <td>专题2.0附4：ClickHouse</td> 
   <td><a href="https://edu.51cto.com/course/26149.html" rel="nofollow">https://edu.51cto.com/course/26149.html&nbsp;</a></td> 
  </tr> 
  <tr> 
   <td>第三阶段<br> 大数据计算框架与消息搜索实战</td> 
   <td>Spark</td> 
   <td><a href="https://edu.51cto.com/course/27366.html" rel="nofollow">https://edu.51cto.com/course/27366.html</a></td> 
  </tr> 
  <tr> 
   <td>Flink</td> 
  </tr> 
  <tr> 
   <td>Storm</td> 
  </tr> 
  <tr> 
   <td>Tez</td> 
  </tr> 
  <tr> 
   <td>Kafka</td> 
  </tr> 
  <tr> 
   <td>Solr</td> 
  </tr> 
  <tr> 
   <td>专题2.0附5：ElasticSearch</td> 
   <td><a href="https://edu.51cto.com/course/25184.html" rel="nofollow">https://edu.51cto.com/course/25184.html</a></td> 
  </tr> 
  <tr> 
   <td>专题2.0附6：ELK</td> 
   <td><a href="https://edu.51cto.com/course/25183.html" rel="nofollow">https://edu.51cto.com/course/25183.html</a></td> 
  </tr> 
  <tr> 
   <td>第四阶段<br> 大数据安全调度与数据采集实战</td> 
   <td>Flume</td> 
   <td><a href="https://edu.51cto.com/course/27365.html" rel="nofollow">https://edu.51cto.com/course/27365.html</a></td> 
  </tr> 
  <tr> 
   <td>Sqoop</td> 
  </tr> 
  <tr> 
   <td>Azkaban</td> 
  </tr> 
  <tr> 
   <td>Oozie</td> 
  </tr> 
  <tr> 
   <td>Ranger</td> 
  </tr> 
  <tr> 
   <td>专题附7：ETL/Kettle</td> 
   <td><a href="https://edu.51cto.com/course/25920.html" rel="nofollow">https://edu.51cto.com/course/25920.html</a></td> 
  </tr> 
  <tr> 
   <td>第五阶段<br> 大数据集群管理平台运维实战</td> 
   <td>Cloudera&nbsp;CM</td> 
   <td><a href="https://edu.51cto.com/course/27364.html" rel="nofollow">https://edu.51cto.com/course/27364.html</a></td> 
  </tr> 
  <tr> 
   <td>Cloudera&nbsp;CDH/CDP</td> 
  </tr> 
 </tbody> 
</table>

**二、大数据运维架构师培训（4）：Flume,Sqoop,Azkaban,Oozie,Ranger**

**本课程学习下载地址：[https://edu.51cto.com/course/27365.html][https_edu.51cto.com_course_27365.html]**  
**欢迎加入：  
Oracle/MySQL/大数据学习专用QQ群：199479729、189070296**

**4.1.Flume大数据采集实战**

4.1.1.Flume基础知识

4.1.2.Flume安装部署

4.1.3.Flume采集日志文件到Hadoop

4.1.4.Flume采集目录数据到Hadoop

4.1.5.Flume数据采集级联架构实战

4.1.6.Flume高可用配置

4.1.7.Flume静态拦截器

4.1.8.Flume使用总结

**4.2.Sqoop大数据迁移实战**

4.2.1.Sqoop基础知识

4.2.2.Sqoop安装部署与基本命令

4.2.3.Sqoop数据迁移(MySQL to HDFS/HBase/Hive)

4.2.4.Sqoop数据迁移(Oracle to HDFS/HBase/Hive)

4.2.5.Sqoop数据迁移(Hadoop to MySQL)

4.2.6.Sqoop数据迁移(Hadoop to Oracle)

4.2.7.Sqoop作业管理

**4.3.Azkaban大数据任务调度管理实战**

4.3.1.Azkaban基础知识

4.3.2.Azkaban安装部署

4.3.3.Azkaban任务调度实战

**4.4.Oozie大数据任务调度管理实战**

4.4.1.Oozie基础知识

4.4.2.Oozie安装部署

4.4.3.Oozie任务调度实战

**4.5.Ranger大数据权限安全管理实战**

4.5.1.Ranger基础知识

4.5.2.Ranger安装部署

4.5.3.Ranger权限管理实战

![bigdata4.png][]

[https_edu.51cto.com_course_27365.html]: https://edu.51cto.com/course/27365.html
[bigdata4.png]: /images/20221022/d9d4f0d70de04859aa27e5e9eb9afaff.png