按:Viktor和Kenneth的这本《大数据》全名是《Big data- a revolution that will transform how we live, work, and think.》如标题所示,全书论述了大数据将给人们思维模式和社会生产力模式带来的转变。8.1分的好书,适合当下5年内各年龄层人阅读,2018年3月28日阅毕。书中提出:“大数据的关键是规模,核心是预测(及其带来的反馈和学习);精髓是三个转变:样本增大、精度下降和因果关系变弱。”本系列读书笔记分为四章:一、因果主导的关系转为相关关系;二、大数据时代下的思维变革;三、大数据时代下的商业变革;四、大数据时代下的管理变革。以下是第一部分,关于因果关系和相关关系论述,仅仅作为加深阅读理解的附录性质内容,非笔记主线内容。
Part one
大数据时代之相关关系VS传统因果关系
或许正像蝴蝶效应一样,大数据将会把许多现象中“一变则多变”的相关关系呈现出来
普林斯顿大学的Daniel kahneman指出:人有两种思维模式,一种是不费力的快速思维,通过这种思维方式几秒钟就能得出结果;另一种是比较费力的慢性思维,对于特定的问题需要考虑到位。
与常识相反,经常凭借直觉未来的因果关系思维(即第一种思维)没有帮助我们加深对这个世界的理解。事实上,这种认知捷径只是给了我们一种自己已经理解的错觉,事实上我们因此完全陷入理解误区之中。就像传统采样是我们无法处理全样本数据时选择的捷径一样,这种找因果关系的方法也是我们大脑用来避免辛苦思考的捷径。这种捷径的准确性是非常低的。
大数据时代表明,统计关系不蕴含多少真实的因果关系,我们的快速思维模式将会遭到各种各样的现实考验。
事实上,我们寻找原因的想法可能被高估了,很多情况下,弄清楚“是什么”比找寻“为什么”更加重要,因为前者表明事实才是我们生活和思维的基础。这些问题可能没有答案,或许,它们是关于人在宇宙中的位置以及能否在喧嚣混乱、不可理喻的世界中寻找到意义这一永恒争论的一部分。
通过应用相关关系,我们可以比以前更容易、快捷、清楚地分析事物。相关关系的核心是量化连个数据值之间的数理关系。相关关系没有绝对,只有可能性。通过给我们找到一个现象的良好关联物,相关关系可以帮助我们捕捉现在和预测未来(jack levis,UPS:预测给我们知识,知识赋予我们智慧和洞见)。建立在相关关系分析法基础上的预测是大数据的核心:只需知道是什么,不需知道为什么。转变决定和理解的方式。
当数据点以数量级方式增长的时候,我们会观察到许多似是而非的相关关系。这在考察初期应高度重视。(当收集、存储盒分析数据的成本比较高的时候应当适当地丢弃一些数据。)例如,数据表明,早产儿的稳定是暴风雨前的宁静,就像是身体要它的器官做好抵抗困难的准备。如果能从中得到因果关系更好,问题是,因果关系往往很难找到,通常我们认为找到了的时候都是在自欺欺人。
正如Duncan watts(数学家)所说:“一旦你知道了结果,一切都很容易。”但这个推测出的因果不一定是必然的。
领取专属 10元无门槛券
私享最新 技术干货