大数据之 Hadoop 3.x 之概念学习 (月薪过万第一章)

今天药忘吃喽~ 2022-10-13 00:27 188阅读 0赞

### 大数据概念 ###

*  一、大数据概念
 *   *  1、大数据
     *  2、理解
     *  3、解决
     *  4、数据存储单位
 *  二、大数据的特点
 *   *  1、Volume(大量)
     *  2 、Velocity(高速 )
     *  3、Variety(多样)
     *  4、Value(低价值密度)
 *  三、大数据应用场景
 *   *  1、抖音推荐的都是你喜欢的视频
     *  2、电影站内广告推荐
     *  3、零售
     *  4、物流存储
     *  5、保险
     *  6、金融
     *  7、房产
     *  8、人工智能
 *  四、大数据发展前景
 *   *  1、党的十九大提出“推动互联网、大数据、人工智能和实体经济深度融合
     *  2、2020年初，中央推出34万亿“新基建”投资计划

# 一、大数据概念 #

## 1、大数据 ##

大数据无法在一定时间范围内内,使用常规软件工具进行捕获，管理和处理的数据集合，是需要新处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量，高增长率和多样化的信息资产

## 2、理解 ##

比如电脑硬盘是 1T 2T，数据存储需要5T 、这个时候传统软件工具已经无法帮助我们管理这些数据了、这个时候就需要用到这个大数据了

## 3、解决 ##

大数据主要解决，海量数据的采集、存储、和分析计算  
何为存储 我要存： 5T数据、  
何为分析计算：我要查找某些不好的视频  
何为采集：我要从各大网站获取经典的视频、就是采集、

主要解决这三件事

## 4、数据存储单位 ##

按顺序给出数据存储单位：

> bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。  
> 1Byte = 8bit  
> 1K = 1024Byte  
> 1MB = 1024K  
> 1G = 1024M  
> 1T = 1024G  
> 1P = 1024T

# 二、大数据的特点 #

## 1、Volume(大量) ##

*  截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共  
    说过的话的数据量大约是5EB。当前，\*典型个人计算机硬盘的容量为TB量级 \*，而  
    一些大企业的数据量已经接近EB量级。

1EB = 1024TB

## 2 、Velocity(高速 ) ##

这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报  
告，预计到2025年，全球数据使用量将达到163ZB。在如此海量的数据面前，处  
理数据的效率就是企业的生命。

天猫双十一：2017年3分01秒，天猫交易额超过100亿  
2020年96秒，天猫交易额超过100亿

## 3、Variety(多样) ##

*  1.这种类型的多样性也让数据被分为 结构化数据 和非结构化数据 。
 *  2.结构化：相对于以往便于存储的 以数据库/文本为主的结构化数据，
 *  3.非结构化数据越来越多，包括网络日志、音频、视频、图  
    片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求

## 4、Value(低价值密度) ##

*  价值密度的高低与数据总量的大小成反比。比如，在一天监控视频中，我们只关心宋宋老  
    师晚上在床上健身那一分钟，如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题
 *  何为提纯：只在乎在床上的一分钟里面我关心的数据、数据的越大、越多不一定最好、但对我最有用那才是最有价值的信息

# 三、大数据应用场景 #

## 1、抖音推荐的都是你喜欢的视频 ##

每个人推荐的都是各自喜欢看的

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70]

## 2、电影站内广告推荐 ##

电影站内广告推荐：给用户推荐可能喜欢的商品  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 1]

## 3、零售 ##

分析用户消费习惯、为用户购买商品提供方便，从而提升商品销量、  
经典案例：纸尿布+啤酒

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 2]

## 4、物流存储 ##

京东物流，上午下单下午送达、下午下单次日上午送达

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 3]

## 5、保险 ##

*  海量数据挖掘及风险预测，助力保险行业精准营销，提升精细化定价能力

分析你的 人脉、行为

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 4]

## 6、金融 ##

*  多维度体现用户特征，帮助金融机构推荐优质客户，防范欺诈风险  
    分析你的 人脉、行为

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 5]

## 7、房产 ##

*  大数据全面助力房地产行业，打造精准投策与营销，选出更合适的地，建造更合适的楼，卖给更合适的人  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 6]

## 8、人工智能 ##

人工智能 + 5G +物联网 +虚拟与实现

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 7]

# 四、大数据发展前景 #

## 1、党的十九大提出“推动互联网、大数据、人工智能和实体经济深度融合 ##

## 2、2020年初，中央推出34万亿“新基建”投资计划 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 8]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70]: /images/20221005/05bdde1ded2b4225b88bcd346008f093.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 1]: /images/20221005/27061cfa9c334a7684cd6442e7c56eae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 2]: /images/20221005/65d03ddcdf0e4438baa2d87212926106.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 3]: /images/20221005/b45f933801c24c659d40d376dd8d3e38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 4]: /images/20221005/bf91b2790ded46638e5fd84874e8c2f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 5]: /images/20221005/50b4cd6356ba4880b8d3f3b48fac2891.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 6]: /images/20221005/e4873db7cba646a987632c216f87c815.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 7]: /images/20221005/94b90541b6624616aa011c8c36659009.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyMDgyNzAx_size_16_color_FFFFFF_t_70 8]: /images/20221005/c54eac79d3b340b68121cab2b946e1af.png