第一章大数据详细介绍

￡神魔★判官ぃ 2022-12-14 03:59 199阅读 0赞

### 文章目录 ###

*   *  大数据概念
     *  信息科技为大数据时代提供技术支撑
     *  数据产生方式的变革促成大数据时代的来临
     *  解决问题
     *  大数据特点
     *  大数据对思维方式的影响
     *  大数据关键技术
     *  大数据技术层次
     *  大数据应用场景
     *  大数据发展前景

## 大数据概念 ##

大数据（bigdata） ：指无法在一定的时间范围内用常规软件工具进行捕捉
      ，管理和处理的**数据集合**，需要新的处理模式才能具有更强的决策力，洞察发现力，流程优化能力的海量，高增长率和多样化的**信息资产**。

## 信息科技为大数据时代提供技术支撑 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center]

存储设备容量不断增加
    CPU处理能力大幅提升
    网络带宽不断增加

## 数据产生方式的变革促成大数据时代的来临 ##

运营式系统阶段
        数据的产生方式是被动的，只有当实际的企业业务发生时，才会产生新的记录并存入数据库
    用户原创内容阶段
        Web2.0和智能手机的出现，强调自服务，大量上网用户本身就是内容的生成者
    感知式系统阶段
        物联网的自动数据产生方式，将在短时间内生成更密集、更大量的数据

## 解决问题 ##

1.海量数据存储
            2.分析计算
            3.价值反馈

## 大数据特点 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 1]

1.volume(大量）
     大数据摩尔定律：数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍
     2.velocity(高速）  
      从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 
     3.variety (多样）
      大数据是由结构化和非结构化数据组成的。10%的结构化数据，存储在数据库中；90%的非结构化数据，它们与人类信息密切相关(音视频,图片等)
     4.value（低价值密度)
     大数据虽然拥有海量的信息，但是真正可用的数据可能只有很小一部分(监控器)

## 大数据对思维方式的影响 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 2]

全样而非抽样
        有了大数据技术的支持，科学分析完全可以直接针对全集数据而不是抽样数据
    效率而非精确
        大数据时代采用全样分析而不是抽样分析，不存在误差被放大的问题，效率成为关注的核心
    相关而非因果
        大数据时代，因果关系不再那么重要，转而追求“相关性”，告诉你关联什么而不告诉你为什么

## 大数据关键技术 ##

分布式存储（解决海量数据的存储问题）(HDFS)
    分布式处理（解决海量数据的处理问题）(Reduce)

## 大数据技术层次 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 3]

数据采集  
利用 ETL工具将分布的、异构数据源中的数据抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。或者把实时采集的数据作为流计算系统的输入，进行实时处理分析  
数据存储与管理  
利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理  
数据处理与分析  
利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据  
数据隐私与安全  
在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全

## 大数据应用场景 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 4]

i. 物流厂库存储 
     ii. 零售 （啤酒和尿布）
     iii.旅游 (指挥服务和智能路线规划)
     vi.智能推荐
     v.保险行业
     vi.金融方面
     vii.房地产 （大数据全面助力，打造精准投策和营销）
     viii. 人工智能

## 大数据发展前景 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 5]

a.  国家大力支持 ，党的18 19 大都有提出相应的扶持政策
      b.大数据人才短缺(先入行吃肉，后入行喝汤，最后到的买单)
      c.各个高校开设大数据课程
      d. 薪资待遇 在行业领头

大数据部门流程  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 6]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/ff4f807e08904407a8354030268ebf89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/acc1735711d94fe8a3ffa008e17833dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/8fe077d9549b48b09b8d2255a9e4f639.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/33389b26922546dbbd1b8b534c69010c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/fd964dfb18b34bd3a424429a7d22f366.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/682a3d19c51a4351855af51f3aa9fb6d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjc0MzYw_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/b88d0ab83f9344909cd872169a513c9f.png