Python + 大数据阶段一 Python大数据开发基础第一章大数据介绍及开发环境 1-1 大数据介绍

我会带着你远行 2024-03-17 09:30 36阅读 0赞

### Python + 大数据 ###

#### 文章目录 ####

*   *  Python + 大数据
     *   *  阶段一 Python大数据开发基础
         *   *  第一章 大数据介绍及开发环境
             *   *  1-1 大数据介绍
                 *   *  1 大数据概念
                     *  2 大数据的特点
                     *  3 大数据的应用场景
                     *  4 大数据分析业务步骤
                     *  5 大数据职业规划
                     *  6 大数据学习路线

![在这里插入图片描述][09c6f5c47eb24776b48b7f85a57c3f76.png_pic_center]

#### 阶段一 Python大数据开发基础 ####

##### 第一章 大数据介绍及开发环境 #####

###### 1-1 大数据介绍 ######

【定位】大数据的定位： → 数据处理。

大数据做的是数据处理，Python 做数据分析。

![在这里插入图片描述][a5a354ffd07646129e5abd6a0b9fa97d.png_pic_center]

###### 1 大数据概念 ######

【什么是大数据】

*  数据
    
    世界的本质是数据 ——大数据研究专家维克托·迈尔-舍恩伯格博士
 *  大数据定义
    
    大数据（big data)，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，因此需要新处理模式，该处理模式就是大数据【合着还是个动词】。
    
    ![在这里插入图片描述][38cd664d08fa4e25a9dffc602a60fc07.png_pic_center]

【大数据处理的数据量有多大？】

![在这里插入图片描述][b763cc2b380b4facab039da35dc14245.png_pic_center]

目前的大数据应用，数据量主要集中在PB / EB 级别。

【大数据解决什么问题？】

*  海量数据存储
    
    数据分析的前提是有数据，数据存储的目的是支撑数据分析。究竟怎么去存储庞大的数据量，是开展数据分析的企业在当下面临的一个问题。
 *  海量数据计算
    
    当解决了海量数据的存储问题，接下来面临的海量数据的计算问题也是比较让人头疼，因为企业不仅追求可以计算，还会追求计算的速度、效率。

###### 2 大数据的特点 ######

大数据的特点可以使用5个字来概括:**大、多、值、快、信**

![在这里插入图片描述][abe47c2947c541b197938b7a0253f20b.png_pic_center]

*  数据体量大
 *  种类和来源多样化
 *  低价值密度
 *  速度快
 *  数据的质量

###### 3 大数据的应用场景 ######

【行业领域】

![在这里插入图片描述][d7dd40a49e2c4d128146633636f8049f.png_pic_center]

【大数据让借贷更放心】

> 打标签 → 人物画像 → 个性化推荐

*  在金融行业中，以借贷款为例。在贷款前，贷款借出方会先利用大数据对借款人进行贷前审核，以此来保障贷后的还款率。
 *  借出方从各个渠道合法收集借款人的标签信息，如学历，职业，薪资状况，历史借还款情况等。海量数据被放入反欺诈模型，还款能力模型，身份验证模型等数个中做训练，最终得出是否通过本次贷款申请,贷款的额度，贷款人的还款意愿等评估信息。
 *  借款人数据收集的越多，标签维度越细，数据越真实，则审核效果越全面。

![在这里插入图片描述][d489df0776964d399388a863190f6bd5.png_pic_center]

【大数据让广告营销更高效】

> 当然这是落地的产品，大数据不做这些事情，由算法团队来做个性化推荐，大数据杀熟

*  广告作为互联网行业最常见的变现手段之一，曾几何时，你会发现日常生活中看到的广告居然那么懂你。
 *  在广告投放的前期，通过大数据手段大量的整合、分析数据，包括用户的浏览习惯、消费行为、浏览记录、对广告的点击数量等，构建全面的用户画像，保证广告定向投放。
 *  在广告投放的中后期，通过实时数据反馈，结合用户所处地域，时间的变化，动态优化广告素材，，让同一个用户在不同的场景下享受不一样的广告服务。

![在这里插入图片描述][37e1b83bd4f54f7e92711fa1eaeac711.png_pic_center]

【大数据让新媒体更懂你】

*  短视频平台会通过大数据平台，分析用户的喜好，根据用户的喜好给用户推荐小视频
    
    ![在这里插入图片描述][5e909355300745d093cf492c557babcf.png_pic_center]
 *  头条平台会根据你的浏览历史推荐你喜欢或者关注的内容
    
    ![在这里插入图片描述][41f8e53216b54603afdca2ad26f8db2e.png_pic_center]

###### 4 大数据分析业务步骤 ######

【流程】

![在这里插入图片描述][dc63fb53c5cd41d4bad2f434927c8dab.png_pic_center]

###### 5 大数据职业规划 ######

【岗位需求】

*  大数据开发工程师
 *  Hadoop开发工程师
 *  Spark开发工程师
 *  实时计算开发工程师
 *  数据仓库工程师
 *  ETL开发工程师
 *  Bl开发工程师
 *  数据挖掘工程师
 *  数据架构师

【职业方向】

![在这里插入图片描述][1e3165150bf6448a9beb2cf6795c0ba8.png_pic_center]

###### 6 大数据学习路线 ######

1.  Linux 系统
    
    ![在这里插入图片描述][98353062bea24cad95961ad693db75bf.png_pic_center]
2.  编程语言
    
    ![在这里插入图片描述][f29f2d18c54f4819a5cb29adb8429640.png_pic_center]
3.  大数据框架
    
    ![在这里插入图片描述][8bc63e37d547499ab7b3990accedfee2.png_pic_center]
    
    大数据工具：
    
     *  zookeeper
     *  Hadoop
        
         *  MapReduce
         *  hdfs
     *  Hive
     *  azkaban：调度工具
     *  impala
     *  HBASE
     *  Phoenix
     *  Redis
     *  elasticsearch
     *  logstash
     *  kibana
     *  hue
     *  oozie
     *  spark
     *  flink
     *  kafka
     *  kudu
     *  clickhouse
     *  DS
    
    > 真又臭又长
    
    核心框架：Hadoop、Hive、Spark、Flink、Kafka、Hbase

开始吧。

[09c6f5c47eb24776b48b7f85a57c3f76.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/ec767fd0c6fe44d8ad4222935dae9449.png
[a5a354ffd07646129e5abd6a0b9fa97d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/62244bfb21d649128864eeade5650cf1.png
[38cd664d08fa4e25a9dffc602a60fc07.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e3bc2c2500854d37adda8ebf863ecc5a.png
[b763cc2b380b4facab039da35dc14245.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/b1359343d35142209f4f59973a7a4dc5.png
[abe47c2947c541b197938b7a0253f20b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/08da9562deb043ea85c703f45778029a.png
[d7dd40a49e2c4d128146633636f8049f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/2013c1579d53473cae44230ba5539869.png
[d489df0776964d399388a863190f6bd5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/75dcbbb144a24fbcbeb77c42b5d4a931.png
[37e1b83bd4f54f7e92711fa1eaeac711.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/d0c5b56e338949f8856dd3d62afd5b9c.png
[5e909355300745d093cf492c557babcf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/c0947fb231e8484c936e0de009127904.png
[41f8e53216b54603afdca2ad26f8db2e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f98d81cd4ac14c818214b0bb369f0498.png
[dc63fb53c5cd41d4bad2f434927c8dab.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/3f8aeff750ff47e388f20b27b31d91ae.png
[1e3165150bf6448a9beb2cf6795c0ba8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a9c1260704a64948b297808d3594fe2e.png
[98353062bea24cad95961ad693db75bf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6ad78381642d465393c3a065c22252e7.png
[f29f2d18c54f4819a5cb29adb8429640.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f7e08ac8fd9343428abf8a90ac99e545.png
[8bc63e37d547499ab7b3990accedfee2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6300a5a6842346e297237d8889899e7b.png