掘金大数据-第一章大数据的发展历程及时代背景

清疚 2023-01-01 03:44 138阅读 0赞

## 大数据的特征 ##

**1. 数据体量巨大：** 超EB。  
**2. 数据类型越发繁多：** 随着时代的发展，数据已经不单单是便于存储的文本形式，目前非结构化的数据越来越多，包含视频、音频、网络日志、地理位置等，这对数据存储及处理能力提出了更高的要求。  
**3. 价值密度低：** 在体量巨大的数据中，只要小部分是具备某一价值的数据，如何通过机器学习的方式将数据进行提纯及体量缩小是目前大数据背景下的重点难题。  
**4. 处理效率：** 处理速度要块，随着数据体量越来越大（势必如此），数据的处理速度就成为了大数据的生命。

--------------------

## 大数据发展的五大驱动力 ##

**1. 政府产业引导的驱动力：** 政府由于管理原因，积累了大量的数据需要开放共享，这成为了推动大数据产业发展的重要驱动力。

**2. 金融资本驱动：** 大数据在引爆前需要大量的资金支持，金融资本成了这些企业的重要驱动来源。

**3. 技术发展驱动力：** 掌握先进信息技术的一些公司，形成了大量的用户群从而产生了大数据，推动了大数据的发展。

**4. 产品应用的驱动力：** 一个企业平台的综合产品，如阿里，凭借体系内的产品，淘宝、支付宝、高德地图等方面综合应用促成了阿里大数据体系的发展，刻画了全面的用户画像。

**5. 独特资源聚集的驱动力：** 如阿里的用户与商品等资源聚集、交通的车辆位置信息聚集驱动交通大数据、旅游资源产生的文旅大数据、人才信息聚集产生的人力大数据等，都会对某一个聚集方向的行业产生大数据驱动力；  
**总结：** 除了以上五种，任何一个方面密集的信息需求都会成为大数据的驱动力，抓住发力点，也就有了探明大数据商业模式的机会，这也是大多公司所面对的紧要问题。

--------------------

## 大数据发展历程及技术演进 ##

**1. 采集解析：** 传统的ETL（抽取、转换、加载）前置数据处理已经不足以完成电信运营商应用化环境中对数据的解析、关联、标准化及准确性要求。对于电信运营商大数据面广、量大、动态复杂的特点，将原始数据梳理解析，动态分布（人工智能），初步加工为可用的**规整、有明确意义**的元数据，这是目前电信大数据应用架构的基础。

**2. 大数据存储：** 现阶段电信大数据已经不仅仅是人机会话等这些结构化数据，渐渐的非结构、半结构化数据已经成为主导，而真正交易的数据量并不大、增长并不快。MPP（大数据并行处理）通过多个节点运行数据库任务，但是这种处理方式没有较好的弹性，系统的容错性能差（系统只有事务级别的容错处理），所以并行数据库只适合资源需求相对固定的应用程序。传统的关系型数据库在处理数据密集型应用方面显得力不从心，主要表现在灵活性、扩展性、性能等方面，最近出现的一些存储系统摒弃了关系型数据库的设计思想，有固定数据模式、并且可以水平扩展的系统（NoSQL），对关系型数据库进行了补充。大数据一体机是集服务器、存储设备、操作系统、数据库管理为一体的已提前安装优化好的硬软件组合的设备，高性能的大数据一体机具有良好的稳定性和纵向扩展性（大数据平台）。现阶段大数据存储的主要研究方向：HDFS/HBase技术、常用的存储软件功能研究、存储系统产品的测试及部署、存储系统的优化技术研究。

**3. 并行计算：** 并行计算指使用多计算机资源解决计算问题，是提高计算机系统计算速度和处理能力的一种有效手段，MapReduce分布式并行计算技术是新型分布式计算的代表，通过添加服务器节点可以线性的扩展系统的总处理能力。MapReduce可以满足“先存储、后处理”的离线批量计算，但他的局限性是时延过大，不适用于机器学习迭代、流处理等实时计算任务，也不适合针对大归属图数据等特定数据结构的快速计算，因此，业界在MapReduce的基础上提出了多种不同的并行计算路线，如：Twitter的Storm系统时针对“边到达边计算”的实时流计算框架，可在一个时间窗口上对数据流进行在线实时分析、谷歌公布的Dremel系统是一种交互分析引擎，几秒就可以完成PB级别数据的查询操作；此外，还有将MapReduce内存化以提高实时性的Spark框架、针对大规模图数据进行优化的Pregel系统等。

--------------------

## 大数据时代引起的变革 ##

**1. 外卖：** 智能派单、线路优化，通过历史的派单记录来预测，做智能派单，取代了过去的人工分单，可以最大限度的优化线路，降低人工配单时间。

**2.金融授信、风险防范：** 有了大数据的支持，可以从多个方面刻画用户的信用信息，很好的解决的以前那种借钱难、借钱慢的现象，对于赖账和信用较差的情况也有很好的防范作用。

**3.广告精准投放：** 通过人群聚类、喜好特征分析来更加精准的设置广告投放位。

**4.挖掘用户的隐性需求：** 通过数据关联分析、对用户的行为进行聚类，提前计算出用户行为关联信息，根据关系引导用户的下一步行为。

--------------------

## 电信大数据掘金 ##

**1. 涉及领域：** 电信运营商是目前大数据应用发展的主力军，电信大数据目前来说变现设计到的领域包括：交通、体育、游戏、电信、金融、零售、政务、旅游、智慧城市，最有利的变现方式是电信行业内部应用、金融、零售及政务领域。

**2. 主要思路：** 数据集市将经过脱敏处理的数据提供给其他机构，以此获取收入；API开放将成熟模块进行封装，如用户画像、金融征信等等，在外部调用时收取费用；电信行业内部应用，通过联合BSS（业务支撑系统）+OSS（运营支撑系统）域系统数据，对用户、业务、网络、终端进行多维分析，满足网络建设、维护、优化一体化的需求；外部应用，构建面向外部可靠、高效的大数据平台，提供行业应用解决方案，解决行业痛点，完善大数据行业应用生态链。

--------------------

## 总结 ##

**电信大数据应用思路：** 通过机器学习结合ETL清洗，来进行数据应用化的分配，实现智能存储数据；通过可视化编排（关联、过滤、分支、人工任务、功能类道路拟合等）来进行功能编排；利用人工智能进行大数据任务的自动化测试，包含质量检测、模型准确度、可视化编排准确度分析等；大数据平台数据分析，对数据进行聚类，分析出一些共性的特征。

**电信大数据变现的思路：** 将数据高度脱敏，类似于人员轨迹、常驻人口分布、交通基站拟合点等数据对外开放，按照数据体量及功能收取费用；对于一些已经封装好的应用如：自然人语音、离线地图、道路拟合等功能类大数据接口对外开放，按照调用次数收取费用；具体应用，利用大数据做出一些具体的应用如：智慧城市建设、反诈骗等应用获取利益。