想高效学会Hadoop，你要按照这个路线

ゝ一世哀愁。 2021-09-17 12:44 213阅读 0赞

学习hadoop，首先我们要知道hadoop是什么？

说到底Hadoop只是一项分布式系统的工具，我们在学习的时候要理解分布式系统设计中的原则以及方法，只有这样才能以不变应万变。再一个就是一定要动手，有什么案例，有什么项目一定要亲自动手去敲。

学习的时候不要害怕遇到问题，问题是最好的老师。其实学习的过程就是逐渐解决问题的过程，当你遇到的问题越来越少的时候，就说明已经学的差不多了。

下面说一下hadoop的学习路线。

1.我们要掌握Linux的安装及基本操作、Python安装及编程基础、java基础。

需要学习Linux的常用命令、基本网络配置、进程管理、shell语法；Python的常用语法，能够基于Python搭建一个常用的Server服务器和java的基础知识。

这时候只需要掌握基础即可，后边遇到问题再学习，这样才不会混乱，学的才扎实。

2. 搭建Hadoop分布式环境

我们要做的是在自己的电脑上安装Linux，然后准备环境nat配置，搭建Hadoop集群先让Hadoop在自己的电脑上跑起来。使用VMware来搭建。

这时候我们会Host配置、IP配置、SSH免密登录等。

3.学习HDFS分布式文件系统

这一步要学习架构分析、容灾容错策略、local数据策略、数据块概念、机架感应，功能逻辑实现等。要真正的去敲敲，掌握Linux下HDFS Shell常用命令的使用。

4.学习MapReduce计算框架

MapReduce是Hadoop核心编程模型。在Hadoop中，数据处理核心就是MapReduce程序设计模型。这一步需要学的东西很多，大家一定要有耐心，把MR的知识学牢固。

首先我们需要学习MR的基本原理、任务执行流程、Shuffle策略。自己动手写一个MR任务，来实现wordcount。然后要学习表单join、表单查询、数据清洗、全局排序、多目录输入输出、自定义partition分区，掌握二分法算法。

接下来学习自然语言处理方法(NLP)，掌握如何提取关键词，TF-IDF算法。这里我们可以实践一下，统计文本中的词频。

学习中文分词，分词的质量直接影响数据挖掘的质量。

5.学习Strom流式计算

Storm是一个开源分布式实时计算系统，它可以实时可靠地处理流数据。

这一步我们要知道Hadoop和Storm的区别，知道他们如何进行互补。了解Storm的体系架构、Zookeeper在架构中的作用和数据流处理的过程。弄懂Storm的工作原理和核心组件（Spout、Bolt）

6.学习Zookeeper分布式协作服务

这一步我们学会数据管理的树形结构，学会根据应用场景选择不同类型的节点、节点权限管理ACL和监控机制。学会Zookeeper开源自带Client工具的Shell使用，开发java代码实现不同类型的节点进行新建、修改、删除和节点的监控。

7.学习数据仓库工具Hive

这一步要了解Hive的体系架构和其与mysql的对比。要掌握Mysql的基本知识、系统搭建标准SQL语（增删查改）。

8.学习分布式存储系统Hbase

这一步要掌握Hbase的体系架构（HMaster、HRegionServer、HStore、HFile、HLog），物理存储、数据逻辑存储、核心功能模块。

细化一点要掌握Hbase表结构设计、Shell操作（增删查改）、javaAPI操作、数据迁移、备份与恢复。与MR结合实现批量导入与导出，与Hive结合使用，集群管理和性能调优。

9.学习Spark

这一步要掌握SPark的编程模型、运行框架、作业提交、缓存策略、RDD、MLLib。

10.学习Scala语言

这一步要掌握Scala的常用语法、函数、元组等操作，不熟Spark。

11.学习Spark开发技术

这一步要能够熟练使用MLLib，能够自己开发Scala的Spark任务，完成表格join、连接和文本串过滤等。

12.学习推荐系统

前面我们学了那么多，最终所学的技术要能落地，我学的是现在主流的推荐系统，现在各大公司都需要这方面的人才。

这一步我们可以找一些案例在学习，要掌握主流的推荐算法，Content Base、Collab Filter。

a.学习基于MR的协同过滤算法

b.学习Mahout，掌握Mahout的适用场景、环境搭建与部署。

学习基于Mahout的协同过滤算法，与MR进行效果对比。

C.学习基于Spark的协同过滤算法

到这里，按照上边的路线认真学习，肯定能学好hadoop开发，在学习的时候一定要亲自动手去敲，要去不断的尝试，把看到的知识尽快转化为自己的技能，这样才能高效率的学会hadoop，学任何一门技术都是一样，需要实际动手。

最后送给大家一套hadoop视频，授课老师是百度的hadoop核心架构师，经常在一些上市公司做内训，有很强的专业技能和授课能力。

这套视频主要内容包括Hadoop入门、Hadoop生态架构和Hadoop大型商业项目的讲解。这三块细化来看就是我文章中提到的那个学习顺序。老师讲的很细，MR就讲了15个小时，毕竟这是Hadoop中的重点。

想要视频的同学可以加微信ganshiyu1026，备注 OSC 即可免费领取。

发表评论取消回复

表情：

评论列表（有 0 条评论，213人围观）

还没有评论，来说两句吧...

相关阅读

相关你想要的图片效果（动态实现）

一、前言没有使用任何框架API，代码或逻辑在html或小程序都适用。主要实现图片随机位置、随机大小、不重叠，在页面上排布；还有扩展功能选定固定图片位置槽数、固定大小、不

缺乏、安全感/ 2024年03月31日 17:13/ 0 赞/ 95 阅读

相关学会这个技能，让你的Fitnesse锦上添花

![在这里插入图片描述][20d9d3803e0c429288663512b48b1770.gif_pic_center] 功能：通过程序实现从基金列表页，获取指定页

朱雀/ 2023年10月08日 13:24/ 0 赞/ 36 阅读

相关想要写出好的测试用例，先要学会测试设计

正确认识测试设计测试设计是从特定的测试依据中得到测试用例，是为了实现特定测试覆盖的标准化的方法。测试依据指的是有关测试的信息，比如项目背景、业务需求、领域知识、团队、进

旧城等待，/ 2023年09月24日 15:34/ 0 赞/ 12 阅读

相关你总是要学会数据结构的

年末了，身边很多人都在考虑辞职这件事~ 午休的时候，和 HR 聊起了这个话题，她说，最近公司是“新人来，老人走呀”，年底了，她招聘的压力是越来越大了！普遍来说，即便是再不

亦凉/ 2023年01月04日 14:57/ 0 赞/ 126 阅读

相关你想要别人记住你什么？

你想要别人记住你什么？水往低处流，是因为地球的吸引。人往高处走，是因为目标的呼唤。为了鼓励孩子，老师和父母经常威逼利诱：长大了是想做乞丐，还是想当总统呢。为了勉励员

男娘i/ 2022年06月16日 02:16/ 0 赞/ 285 阅读

相关你想要什么样的人生

早餐店里，一个女人因为皮蛋瘦肉粥里没有看到瘦肉和老板争执了起来。老板解释说，瘦肉都煮化了。那个女的越说越激动，竟然哭了起来。老板惊呆了，边给她纸巾边安慰她，说：“一碗粥而已

ゝ一世哀愁。/ 2022年06月09日 13:52/ 0 赞/ 274 阅读

相关 Hadoop学习路线

转载自：http://lxw1234.com/archives/2016/11/779.htm 第一章：初识Hadoop 第二章：更高效的WordCount 第

r囧r小猫/ 2022年04月16日 02:49/ 0 赞/ 182 阅读

相关想要成为黑客？那你需要学会这些知识

![2018122022085133][] 其实很多人都有黑客情节，黑客帝国超级经典。不光是炫酷的场面，更是穿插着黑客情节。想想那是有多酷，在电脑前敲敲代码就能控制这个世界。

- 日理万妓/ 2022年04月03日 07:07/ 0 赞/ 279 阅读

相关 hadoop学习路线

大数据学习步骤下面我就大致列一下，各种框架的一个学习步骤吧：注意：下面列出来的顺序只是个人建议，可以根据个人实际情况来调整顺序 linux基础和javase基础【包含

叁歲伎倆/ 2022年01月28日 03:39/ 0 赞/ 263 阅读

相关想高效学会Hadoop，你要按照这个路线

学习hadoop，首先我们要知道hadoop是什么？说到底Hadoop只是一项分布式系统的工具，我们在学习的时候要理解分布式系统设计中的原则以及方法，只有这样才能以不变应万

ゝ一世哀愁。/ 2021年09月17日 12:44/ 0 赞/ 214 阅读