零基础自学Hadoop 一大数据导论与Linux基础 01 大数据导论 1.3 大数据时代

ゞ浴缸里的玫瑰 2024-03-26 17:45 26阅读 0赞

#### 零基础自学Hadoop ####

#### 文章目录 ####

*   *   *  零基础自学Hadoop
         *  一 大数据导论与Linux基础
         *  01 大数据导论
         *   *  1.3 大数据时代
             *   *  1.3.1 背景
                 *  1.3.2 大数据定义
                 *  1.3.3 大数据5V特征
                 *  1.3.4 应用场景
                 *  1.3.5 思考

![在这里插入图片描述][b68f0e1eb81d41f8b7cf96536755684f.png_pic_center]

[【黑马程序员大数据Hadoop入门视频教程，适合零基础自学的大数据Hadoop教程】 ][Hadoop_Hadoop_]

#### 一 大数据导论与Linux基础 ####

#### 01 大数据导论 ####

##### 1.3 大数据时代 #####

###### 1.3.1 背景 ######

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，其称：“数据，已经渗透到当今每一个行业和业务职 能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到 来。”

2019年，央视推出了国内首部大数据产业题材纪录片《大数据时代》，节目细致而生动地讲述了大数据技术在政 府治理、民生服务、数据安全、工业转型、未来生活等方面给我们带来的改变和影响。

![在这里插入图片描述][fe59abc420414f33b8e34d4cb29f4e6c.png_pic_center]

###### 1.3.2 大数据定义 ######

大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合；

是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

![在这里插入图片描述][6156066bf79f4cb68d8cab7d7a3bd53b.png_pic_center]

###### 1.3.3 大数据5V特征 ######

5个V开头的单词，从5个方面准确、生动、形象的介绍了大数据特征。

![在这里插入图片描述][afb0dcfb1d3749c5a31c07211603153a.png_pic_center]

![在这里插入图片描述][f8bde1a957fd4672bf006925bb40f2b2.png_pic_center]

*  **V**olume：数据体量大
    
     *  采集数据量大
     *  存储数据量大
     *  计算数据量大
     *  TB、PB级别起步
 *  **V**ariety：种类、来源多样化
    
     *  种类：结构化、半 结构化、非结构化
     *  来源：日志文本、 图片、音频、视频
 *  **V**alue：低价值密度
    
     *  信息海量但是价值 密度低
     *  深度复杂的挖掘分析需要机器学习参与
 *  **V**elocity：速度快
    
     *  数据增长速度快
     *  获取数据速度快
     *  数据处理速度快
 *  **V**eracity：数据的质量
    
     *  数据的准确性
     *  数据的可信赖度

###### 1.3.4 应用场景 ######

*  电商领域
    
    精准广告位、个性化推荐、大数据杀熟
    
    ![在这里插入图片描述][0b11623fa63943d5b52011c7bef2e749.png_pic_center]
    
    ![在这里插入图片描述][5d602ce25f3d44419012938c9b59f132.png_pic_center]
 *  传媒领域
    
    精准营销、猜你喜欢、交互推荐
    
    ![在这里插入图片描述][addbc2d3928346a99e20d27896214325.png_pic_center]
 *  金融方面
    
    理财投资，通过对个人的信用评估，风险承担能力评估，集合众多理财产品、推荐响应的投资理财产品。
    
    ![在这里插入图片描述][98d63c14d8ff43e8a74e28c1b700b1d7.png_pic_center]
 *  交通领域
    
    拥堵预测、智能红绿灯、导航最优规划
    
    ![在这里插入图片描述][b3e0ba15fac04951abd52a9e0b1a1c43.png_pic_center]
 *  电信领域
    
    基站选址优化、舆情监控、客户用户画像
    
    ![在这里插入图片描述][d07a1b5b5c6747b6ab4ac844dc9992ea.png_pic_center]
    
    ![在这里插入图片描述][4518a52bf08c405abbe219b67182114f.png_pic_center]
 *  安防领域
    
    犯罪预防、天网监控
    
    ![在这里插入图片描述][f68c7fab499644f6a86c2c33d6f42c8b.png_pic_center]
 *  医疗领域
    
    智慧医疗、疾病预防、病源追踪
    
    ![在这里插入图片描述][28cd66edd4604c16b140ff783473762c.png_pic_center]

###### 1.3.5 思考 ######

大数据场景下

*  海量数据如何存储？
 *  海量数据如何计算？

[b68f0e1eb81d41f8b7cf96536755684f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/a853df124afd4a8ea7bc03f01a8f9004.png
[Hadoop_Hadoop_]: https://www.bilibili.com/video/BV1CU4y1N7Sh/
[fe59abc420414f33b8e34d4cb29f4e6c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/a8b02ccaf1c44299b60c3c86e784e627.png
[6156066bf79f4cb68d8cab7d7a3bd53b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/aa05763fc6e344ddb90f0d13303a80da.png
[afb0dcfb1d3749c5a31c07211603153a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/22bf7e0b27244fdb98529486b7ea8dd8.png
[f8bde1a957fd4672bf006925bb40f2b2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/631c40d28a8c42d59fb018ac316f3fdd.png
[0b11623fa63943d5b52011c7bef2e749.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/2b2edc295e4a4a85b06ce60ba4b15ff2.png
[5d602ce25f3d44419012938c9b59f132.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/1aa6169d69ef4a3dabb67d29bade2727.png
[addbc2d3928346a99e20d27896214325.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/24d2065d1d8b4523b6bd8a112f5a09f2.png
[98d63c14d8ff43e8a74e28c1b700b1d7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/bf1e3becae9849f4beb929e56da1f2ea.png
[b3e0ba15fac04951abd52a9e0b1a1c43.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/4f1f1531ec46450c873da80f47909469.png
[d07a1b5b5c6747b6ab4ac844dc9992ea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/caa1d5066f794cfbb9aa7a66e1bd05d2.png
[4518a52bf08c405abbe219b67182114f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/d115710ba5644a5db44ce433016c965d.png
[f68c7fab499644f6a86c2c33d6f42c8b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/dbecc161759344bebf2438c9fed833cb.png
[28cd66edd4604c16b140ff783473762c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/ad4d2224b5f5492ab3f95c3c1c1e3a02.png