为什么要用大数据和大数据的介绍

小灰灰 2023-07-09 06:27 7阅读 0赞

像我们做应用开发的（JAVA），会遇到很多的性能瓶颈，

最常见的也是最难解决的是数据库存储和查询方面的，当然也有很多

解决方案，比如：做表设计优化，查询优化，数据库主从优化，分库分表优化等。

但是不管你怎么优化，当量到了一定程度的时候，这么操作就没什么优化效果了

以用的最多的MYSQL来说，mysql5.7版本以上的单表最多大概是1000W+，最新的MySQL8的

单表上线也是1亿+，当数量超过了这个量，你会发现不管你怎么优化，基本上没有什么效果了

这个时候，我们就要考虑换个技术，这个时候我会推荐用HADOOP生态圈。

HADOOP是什么？

1) Hadoop是一 个由Apache基全 会所开发的分布式系统基础架构。

2)主要解决，海量数据的**存储**和海量数据的**分析**计算问题。

3)广义上来说Hadoop通常是指-个更广泛的概念一-Hadoop生态圈。

从上面来看，HADOOP主要的功能就是对海量数据的存储和分析，这个就有点类似于数据库的功能了，

但是它不同的是它存的不仅仅是结构化的数据，还包括很多半结构，非结构的数据：包括文档，音频，视频等

这个是我们这个大互联网时代是非常常见和必要的。

HADOOP核心技术也是存储和分析：

1，存储是HDFS(分布式文件存储系统)

2，调度是YARN,资源调度，当客户端有请求过来，资源调度接受处理。

3，MapReduce分析计算，分析计算你的数据。

之上又衍生了其他一些技术，HBASE,SPARK,FLINK等等，都是在这些技术上做的新的扩展。

下面是HADOOP技术生态体系：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE_size_16_color_FFFFFF_t_70][]

大数据无处不在，大数据应用于各个行业，包括金融、汽车、餐饮、电信、能源、体能和娱乐等在内的社会各行各业都已经融入了大数据的印迹。

制造业，利用工业大数据提升制造业水平，包括产品故障诊断与预测、分析工艺流程、改进生产工艺，优化生产过程能耗、工业供应链分析与优化、生产计划与排程。

金融行业，大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重大作用。

汽车行业，利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活。

互联网行业，借助于大数据技术，可以分析客户行为，进行商品推荐和针对性广告投放。

电信行业，利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施。

能源行业，随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理设计电力需求响应系统，确保电网运行安全。

物流行业，利用大数据优化物流网络，提高物流效率，降低物流成本。

城市管理，可以利用大数据实现智能交通、环保监测、城市规划和智能安防。

生物医学，大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA,了解更多的生命奥秘。

体育娱乐，大数据可以帮助我们训练球队，决定投拍哪种题财的影视作品，以及预测比赛结果。

安全领域，政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪。

个人生活， 大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200228104121234.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NocmVrMTE=,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，7人围观）

还没有评论，来说两句吧...

相关阅读

相关【大数据】RAID介绍

一、RAID 概述 1988 年美国加州大学伯克利分校的 D. A. Patterson 教授等首次在论文 “A Case of Redundant Array of Ine

桃扇骨/ 2024年04月03日 12:10/ 0 赞/ 89 阅读

相关大数据：关于Shell的介绍

Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。

绝地灬酷狼/ 2023年10月07日 16:31/ 0 赞/ 18 阅读

相关为什么要用大数据和大数据的介绍

像我们做应用开发的（JAVA），会遇到很多的性能瓶颈，最常见的也是最难解决的是数据库存储和查询方面的，当然也有很多解决方案，比如：做表设计优化，查询优化，数据库主从优化

小灰灰/ 2023年07月09日 06:27/ 0 赞/ 8 阅读

相关大数据入门：各种大数据技术的介绍

大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术

一时失言乱红尘/ 2022年07月12日 04:57/ 0 赞/ 254 阅读

相关为什么学大数据之前要先学Java呢？

计算机编程语言有很多，目前用的多一点的就是Java，C++，Python等等。目前大多数学习大数据的人都是选择学习Java，那Java到底好在哪呢？为什么学大数据之前要

约定不等于承诺〃/ 2022年05月30日 06:08/ 0 赞/ 234 阅读

相关大数据，为什么要学习Hadoop

六月初到六月中旬，一转眼二十天过去了，又开始新的起点大数据 1、Hadoop是个什么东东 Hadoop是一个开源的【分布式计算 + 分布式存储平台】，是一个大数据

r囧r小猫/ 2022年05月22日 09:21/ 0 赞/ 265 阅读

相关大数据常用文件格式介绍

文章目录一、SequenceFile 二、Avro 三、parquet 四、Orc 五、同为列式存储

小咪咪/ 2022年03月27日 12:14/ 0 赞/ 1588 阅读

相关大数据入门：各种大数据技术介绍

转自：[http://www.aboutyun.com/thread-7569-1-1.html][http_www.aboutyun.com_thread-7569-1-1.

港控/mmm°/ 2022年03月21日 19:18/ 0 赞/ 369 阅读

相关常见的大数据引擎介绍

作者：李小翀链接：https://www.zhihu.com/question/21822275/answer/39024698 来源：知乎著作权归作者所有。商

Love The Way You Lie/ 2022年02月01日 06:15/ 0 赞/ 1486 阅读

相关学习大数据，一定要了解大数据的这些用途

大数据有什么用了解用户特征通过大数据，百度掌握你的隐私，微信知道你的社交圈子，淘宝了解你的购物习惯，移动电信联通三大运营商存有你的通话记录和上网记录…… .在入门学

忘是亡心i/ 2022年01月11日 14:57/ 0 赞/ 255 阅读