《大数据时代》笔记

Bertha 。 2024-04-18 17:05 56阅读 0赞

# 第3章 更好：不是因果关系，而是相关关系 #

## 一、人的天性会倾向于追求因果关系 ##

人有两种思维模式：

不费力的快速思维，通过这种方式，几秒钟就能得到一个结果。
    比较费力的慢性思维，对于特定的问题，需要仔细琢磨，考虑到位。

第一种思维模式使人们偏向用因果关系来看待周边的一切，即使这种关系并不存在。这种思维方式能够帮助人们在信息匮乏但又必须作出快速决定的情况下化险为夷，即使而慢条斯理的思考则更容易置身于险境之中。因此，从生物演进的角度，第一种思维模式占据了上风。

即使没有因果关系，我们也习惯与臆想出一个因果关系，这是一种认知方式，与文化背景、生长环境和教育水平不相关。当看到事情接二连三的发生，我们也会习惯性的从因果关系来看待他们，比如善有善报，恶有恶报。

## 二、大数据时代，相关关系更重要 ##

因果关系之外的另一个重要关系，则是相关关系。

因果关系关心“为什么”，而相关关系则关心“是什么”。

**在大数据时代，数据不再匮乏，但不可否认的是，社会活动也变得更加复杂，不可琢磨。在很多领域，知道“为什么”可能是有用的，但可能没有那么有用；反而知道“是什么”，不仅可以高效的解决当下问题，还可以对未来进行一定的预测。**

相关关系通过识别有用的关联物来帮助人们分析一个现象，而不是揭示其内部机理。相关关系强，可能仅仅是一种巧合，也就是说，相关关系不谈绝对性，只谈可能性。比如对于沃尔玛，它发现当季节性飓风来临之前，手电筒和蛋挞的销售都上升了，这是为什么，他们之间有一个数学公式吗，这个公式还能推导出其他结论吗？这个问题的答案对于沃尔玛的经理来说并不重要，他要做的就是在合适的时机，把这两种商品摆在一堆儿，以便行色匆匆的顾客将两种商品都购买走。

也就是说，如果能够知道因果关系固然也好，但如果能够指导我下一步该做些什么，也就足够了。

但并不是说因果关系不重要，不值得探寻，这只是以为大数据建立在务实的基础上，能够将预测的效果与成本控制在合理匹配的程度，能够支撑商业决策就是最大的价值。

因果关系的证明本身就是一道难题，你需要进行不断的实验，在实验过程中还要考虑诱因，要尽可能排除诱因的干扰。因此绝对的因果关系是很难断定的，这也在物理学、化学、数学、生物学等学科研究上已经有充足的案例。

而在大数据时代，证明相关关系在耗时耗物上都会更少，因为以大量的数据作为基础，事实胜于雄辩，假设带来的偏见因素更容易被发现，也就使得结论更趋于真实的情况。好比在小数据时代，经济学家和政治家一直认为收入水平和幸福感是正比。但拥有大量数据基础后会发现，收入水平在某个水平之下，幸福感才和收入水平成正比；超过这条线，幸福感并没有呈现出和收入水平有明显正比的情况。因此政治家在制定政策之时，就可能对这两类人群进行差异化对待，而不是一味的提高社会的收入水平。

## 三、重视相关关系，并不是要抛弃因果关系，也不是要宣扬理论无用论 ##

**在大多数情况下，一旦我们完成了对大数据相关关系分析，而又不再满足仅仅知道“是什么”时，我们就会继续向更深层次研究因果关系，找出背后的“为什么”。**

上面这段话正是解答了大数据时代对相关关系的重视，并不是要宣扬因果关系无用论。反而是表达出因果关系与相关关系在指导人类社会前行的过程中，所承担的不同职责。他们是相爱相生的一对。

因果关系，本质上可以用另外一个词语来代替，就是“理论”。

大数据本身正是在理论的基础上形成的，比如统计学理论、计算机科学理论等。大数据时代不是理论消亡的时代，相反，理论贯穿于大数据分析的方方面面。数据分析过程中，从浩瀚数据海洋中选择什么类型的数据；是使用批处理范式，还是流处理范式；采用什么工具……这些问题都离不开理论的发展。

我只想说明，完全没有必要在相关关系和因果关系非黑即白的选择阵营，我们只需要明白这个道理：

大数据时代要释放出的巨大价值使我们选择大数据的理念和方法不再是一种权衡，通往未来的必然改变。