好程序员分享自学大数据入门干货

约定不等于承诺〃 2022-01-11 14:11 211阅读 0赞

首先，提及大数据一词的概念。大数据本质还在于数据，但是它有着新的特征亮点。包括：数据来源广，数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等等。

扩展讲大数据的4个基本特征，我们将进行下面额思考：

1.数据来源广？

广泛的数据来源从何而来，通过何种方式进行采集与汇总？相对应的我们出现Sqoop，

Cammel，Datax等工具。

2.数据采集之后，该如何存储?

采集之后，为了方便存储，我们对应的出现了GFS，HDFS，TFS等分布式文件存储系统。

并且，介于数据的增长速度非常之快，这也就要求我们，数据存储必须可以进行水平扩展。

3.数据存储之后，该如何通过运算快速转化成一致的格式，又该如何快速运算出自己想要的结果?

对此，MapReduce的分布式运算框架提出了解决方案。但是由于MapReduce需要java的编程代码较多，由此，又出现了Hive，Pig等将SQL转化成MapReduce的解析引擎;再有，因普通的MapReduce只能一批一批地批量处理数据，时间消耗过多，最终目的又要求我们输入的一条数据就能得到结果，于是又出现了Storm/JStorm这样的低时延的流式计算框架;但是如果同时需要批处理和流处理，按照如上就得搭两个集群，Hadoop集群(包括HDFS+MapReduce+Yarn)和Storm集群，不易于管理，所以出现了Spark这样的一站式的计算框架，既可以进行批处理，又可以进行流处理(实质上是微批处理)。而后Lambda架构，Kappa架构的出现，又提供了一种业务处理的通用架构。

4.此外，为了提高工作效率，加快运速度，出现了一些辅助工具：

Ozzie，azkaban：定时任务调度的工具。

Hue，Zepplin：图形化任务执行管理，结果查看工具。

Scala语言：编写Spark程序的最佳语言，当然也可以选择用Python。

Python语言：编写一些脚本时会用到。

Allluxio，Kylin等：通过对存储的数据进行预处理，加快运算速度的工具。

转载于:https://blog.51cto.com/14249543/2400846

发表评论取消回复

表情：

评论列表（有 0 条评论，211人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据自学全套教程，免费分享，赶紧码起来！（纯干货系列）

大数据现在很火，不仅有国家政策支持，还有企业的高薪诱惑，不少同学都有意向转行到大数据的想法。但是让很多人苦恼的是不知道要怎么开始学习，感觉网上找的都是一些很碎片化的东西，没有一

冷不防/ 2022年12月15日 12:39/ 0 赞/ 83 阅读

相关程序员好用的工具分享

概览画图工具 draw.io sketch axure omniGraffle 项目资源管理工具 omniPlan 1. 背景

古城微笑少年丶/ 2022年10月24日 13:17/ 0 赞/ 124 阅读

相关好程序员大数据入门学习之Hadoop技术优缺点

　　好程序员大数据入门学习之Hadoop技术优缺点　　(1)Hadoop具有按位存储和处理数据能力的高可靠性。　　(2)Hadoop通过可用的计算机集群分配数据，完成

淡淡的烟草味﹌/ 2022年04月24日 14:30/ 0 赞/ 210 阅读

相关 5年老前端程序员的干货分享

当你看到这篇文章的时候，说明你一定在找相关web前端的自学资料，那么这是一个很好的开始，因为有求知欲，才能让你在接下来的学习更加的努力。自学是一个很漫长的路，有很多的坑等着你来

傷城~/ 2022年03月19日 08:10/ 0 赞/ 170 阅读

相关好程序员Java分享MySQL之SQL入门（一）

[为什么80%的码农都做不了架构师？>>> ][80_] ![hot3.png][] 前言：各种版本的数据库中，有一种通用的语言用于管理数据库中的数据，它就是SQL，本章我

末蓝、/ 2022年01月15日 07:43/ 0 赞/ 170 阅读

相关好程序员教程分享webpack打包文件太大怎么办

好程序员教程分享webpack打包文件太大怎么办，webpack 把我们所有的文件都打包成一个 JS 文件，这样即使你是小项目，打包后的文件也会非常大。下面就来讲下如何从多个方

待我称王封你为后i/ 2022年01月11日 14:19/ 0 赞/ 243 阅读

相关好程序员大数据分享10个大数据专业术语

　　大数据就业市场供小于求，人才高度紧缺，企业需求量大！IT行业圈子极大，工程师种类亦是繁多，为什么大家偏偏还要选择大数据呢？大数据时代波澜正兴，同学们站在时代前沿，又该如何争

你的名字/ 2022年01月11日 14:11/ 0 赞/ 188 阅读

相关好程序员分享自学大数据入门干货

　　首先，提及大数据一词的概念。大数据本质还在于数据，但是它有着新的特征亮点。包括：数据来源广，数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大

约定不等于承诺〃/ 2022年01月11日 14:11/ 0 赞/ 212 阅读

相关好程序员Java干货分享5分钟了解折半插入排序

好程序员Java干货分享5分钟了解折半插入排序，前言：折半插入排序（Binary Insertion Sort）是对直接插入排序算法的一种改进。插入排序思想介绍折半插

梦里梦外;/ 2021年11月22日 21:50/ 0 赞/ 198 阅读

相关好程序员大数据基础教程分享TextFile分区问题

val rdd1 = sc.parallelize(List(2,3,4,1,7,5,6,9,8)) 获取分区的个数:rdd1.partitions.length,在spa

向右看齐/ 2021年11月22日 21:44/ 0 赞/ 284 阅读