大数据分析软件的现状与发展趋势

朱雀 2023-06-11 09:26 16阅读 0赞

> *上周去纽约参加了O'Reilly举办的数据分析展示会--[Strata Data Conference][] 2019 New York。在开场的Keynote环节，O'Reilly的Chief Data Scientist，Ben Lorica先生简单介绍了目前大数据分析的现状和发展趋势，以及各个公司在此领域所做的努力。这本文章把Ben Lorica先生的演讲内容进行整理，同时把我在会议中获得的情报和在会后查阅的资料和大家分享。*
> 
> *作者：Kyle*

## 1. Strata Data Conference ##

参考链接：[https://conferences.oreilly.com/strata][https_conferences.oreilly.com_strata]

O'Reilly Media大家都知道，出版了很多AI，数据科学方面的书，封面通常是标题+某个动物：

![2019103009445435.png][]

Strata Data Conference是O'Reilly Media举办的数据分析/科学展示会，每年举办三次，分别在湾区，伦敦和纽约。参加会议的大多数企业代表和员工，内容主要是各个企业展示自己最新开发的分析工具，或者介绍自己的一些成功事例。

会议持续四天，形式有以下几种：

*  Keynote：所有人在一个大会场听大佬演讲
 *  Booth：参会企业展示自己的平台
 *  Session：在会议室里做事例分享
 *  Training：工具和相关技术的培训

关于参会者的一些统计信息：

*  从事工作最多的前三名师是：数据科学/分析师，技术经理和软件工程师
 *  10年以上工作经验的人占42%
 *  从事行业的前三名是：软件，金融和咨询

## 2. 大数据分析的工作流程和发展现状 ##

**"There is no AI without IA (information architecture)"**

因为直观而且贴近用户，很多客户甚至部分从业者都以为分析建模就是数据处理的全部，其实一个强大的数据收集/管理/存储平台才是这一切的保障。

具体来说，一个完整的大数据分析工作流程大致包括以下几方面：

**数据收集与导入 → 数据清洗与质量控制 → 数据管理与存储 → 数据分析与可视化 → 数据建模与模型管理**

### **2-1.数据收集与导入** ###

数据的收集与导入就是把数据写入数据库。

这目前为止的系统开发中，这都是数据库自带的功能，根本算不上什么课题。

因为在深度学习兴起之前，“数据”大多是结构化数据（表格）；而到了大数据时代，“数据”不只是结构化数据，更多的是非结构化数据（图片，声音，视频）。随着需要收集的数据量的增大，数据的实时收集、实时处理变得不是那么容易。

为了解决这些问题，目前流行的工具有以下几种：

![20191030140230774.png][]

Spark和Kafka等依然是最流行的开源数据接入（data ingestion, data processing and ETL）工具。尤其是Kafka，在本次会议中有大量关于Kafka的实例介绍。

其次就是日渐崛起的Pulsar，发源于Yahoo，现在也是Apache家族的一员，因其卓越的性能受到越来越多的公司的青睐。

[为什么已有Kafka，我们最终却选择了Apache Pulsar？][Kafka_Apache Pulsar]

同时，在Data Catalog、Data Governance和Data Lineage方面，很多公司也在寻找合适的解决方案帮助他们了解：自己都有些什么数据，有谁可以接触到这些数据以及这些的数据是从哪里来的。

### **2-2. 数据质量控制** ###

**The Data is NEVER Clean**, Projections Will Never Be Perfect.

脏数据和错误数据是数据分析工作的主要瓶颈，数据清理和修复约占数据科学家工作的60％。

为此很多人投入到使用ML技术，自动清洗数据的相关研究开发之中。在这之中，最受瞩目的当属HoloClean。

[HoloClean/holoclean][HoloClean_holoclean]

HoloClean 关键特性：

*  它是第一个整体数据清理框架，在统一的框架中结合了各种异构信号，例如完整性约束，外部知识（词典）和定量统计
 *  它是由概率推理驱动的第一个数据清理框架。用户只需提供要清理的数据集并描述高级域特定信号
 *  它可以扩展到大型真实世界的脏数据集，并执行比最先进的方法还要准确两倍的自动修复功能

详细参照：[https://www.oschina.net/p/holoclean][https_www.oschina.net_p_holoclean]

### **2-3. 数据管理与存储** ###

这是永远的课题，一直都有很多StartUp和公司热衷于研究提高数据的管理和存储的相关技术。

在数据库方面本次会议的主角是memSQL，最大的特点就是处理数据的速度快！很快！非常快！世界第一快！！

![20191030140428901.png][]

同时还有其他一些明星产品：

比如基于时间序列的数据库： Timscale, InfluxDB

和图数据库（Graph Database）：Tigergraph

![20191030140524989.png][]

另外一个很火的词就是：数据湖（Data Lake）

从前几年开始数据湖就一直是strata会议的一个主题。**核心思想是把所有数据（结构，非结构）都保存在同一个地方，这样数据分析师就能用BI工具或者ML解锁数据的价值。**

但问题是数据有时候非常混乱，早期的数据湖在数据管理方面有很大问题，而且插入修改数据等功能也存在不完善。为此，Cloudera（会议最大赞助商）、Cueball和Snowflake等公司正在对数据湖进行改进。

![20191030140546834.png][]

会议中和其他Data Scientist闲聊的时候发现有人弄不太清楚**数据库**、**数据仓库**和**数据湖**的区别。

**简单来说数据库和数据仓库的区别在于Online和Offline，数据湖和前两个的区别在于Structured和Unstructured。**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70][]

### **2-4. 数据分析与可视化** ###

在实际工作中，我们需要把数据做成表格或者图表来展示数据的价值，

一些可视化的工具：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 1][]

不过相比于以上这些，更让我眼前一亮的是Anaconda Booth里展出的PyViz和HoloViz，能用代码画出各种绚丽的图案，非常强大。

![20191030140752165.png][]

### **2-5. 数据建模与模型管理** ###

这一块的热点是“自动”建模。现在几乎所有云平台都提供机器学习的功能（比如AWS的Sagemaker，GCP的CLOUD MACHINE LEARNING ENGINE），虽然精度和灵活性依然存在不足，但是简单易用，点点鼠标就搞定，不需要任何编程基础。而且其功能越来越强大，越来越完善，值得广大Python数据分析师提高警惕。

这些分析平台大多提供以下功能：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 2][]

通过和各个Booth的人聊天，总结了一下目前各大分析平台的功能特点（遗憾本次展会没有DataRobot和最近被Salesforce收购的Tableau）：

**SAP Data Hub**：功能单一，界面略丑，从技术角度讲优势真的很不明显。。。但是SAP的ERP毕竟有极其强大的市场占有率。Data Hub作为ERP的功能加强，有很大的营销优势，同时又能大大降低导入风险，力量不容小觑。

**IBM Watson**：功能很完善 ，界面很舒服，建模之后可以生成API即刻发表（开始以为是优势，后来发现好多平台都有这个功能）。模型监视模块做的尤其好，可以按时间轴选择不同时期模型的表现，而且可以监视具体变量的变化。

**Keyence KI**：日本平均工资最高的制造企业居然在数据科学方面有如此大的投入，令人有些意外。KI最有意思的地方是：模型完成后，可以通过调整变量值测试模型的输出分数。

**SAS**：老牌企业，中规中矩，没什么优点也没什么缺点。多云联动，数据共享算是一个亮点。

**Dataiku**：虽然是第一次听说这个公司，但产品确实最强大的。不但支持通常的数据库，云数据库的数据导入，还可以直接从Facebook，instagram等SNS导入数据。最强大的功能是**支持代码修改，**这样灵活性就大大增强了，既是分析工具又是IDE。

![20191030140858827.png][]

NVIDIA Cuda-X AI：这个有点特殊，不是分析工具，应该算是硬件平台。专门拿出来讲是因为NVIDIA宣称Cuda-X AI的处理速度惊人，沃尔玛之前需要一个月的训练，用cuda-X AI只需要两天。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 3][]

*附：Ben Lorica演讲视频完整版（好像是YouTube的平台，不知道国内能不能放）：*

[Recent trends in data and machine learning technologies][]

[Strata Data Conference]: https://link.zhihu.com/?target=https%3A//conferences.oreilly.com/strata/strata-ny
[https_conferences.oreilly.com_strata]: https://link.zhihu.com/?target=https%3A//conferences.oreilly.com/strata
[2019103009445435.png]: /images/20230531/873180b129ce4a149037a1e469d3f4ab.png
[20191030140230774.png]: /images/20230531/ac9f9c988825469eb2c9e2f15832e7df.png
[Kafka_Apache Pulsar]: https://link.zhihu.com/?target=https%3A//www.jianshu.com/p/8e25520372f5
[HoloClean_holoclean]: https://link.zhihu.com/?target=https%3A//github.com/HoloClean/holoclean
[https_www.oschina.net_p_holoclean]: https://link.zhihu.com/?target=https%3A//www.oschina.net/p/holoclean
[20191030140428901.png]: /images/20230531/ab57a7afec7841529a07e79764abaa49.png
[20191030140524989.png]: /images/20230531/e766cf3055414cc7a7dcefea6a0cf958.png
[20191030140546834.png]: /images/20230531/ec343fe57f804112a872f14764c15638.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70]: /images/20230531/61a7f65df05644238d4990512a11827e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 1]: /images/20230531/e83b86c6a911401ebd661764a75a9395.png
[20191030140752165.png]: /images/20230531/7a545ed5ebda46679b41441a15b3efc3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 2]: /images/20230531/a8e79c2641fe49c894cf72bab1903e8f.png
[20191030140858827.png]: /images/20230531/505f09170e3946e9af3adeffc5542edc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzI2ODExMzc3_size_16_color_FFFFFF_t_70 3]: /images/20230531/4e3b6f1bea684404a7c9d465d1659028.png
[Recent trends in data and machine learning technologies]: https://link.zhihu.com/?target=https%3A//www.oreilly.com/radar/recent-trends-in-data-and-machine-learning-technologies/