大数据时代的小数据分析

大数据，人工智能，自概念产生便成为近几年的重要时代热词，大数据的产生也是随时代的发展变得有更为深层次的含义，从相对于实验室环境下的大数据，到抽样、统计中的大数据收集和分析，再到现在数字时代，随着网络基础应用逐渐普及，数据存储和运算不再成为制约大数据发展的局限，TB、PB成了更高运算规模的计量单位。大数据的含义在不断地被更新迭代。

但今天这篇文章主要想聊的是大数据时代的小数据分析。

大数据分析是指不进行抽样，运用全量的数据进行算法和运算模型的迭代和优化，大数据分析谈验证性原理，不谈原假设和小概率事件，谈效率，讲究不确定性的精神。而小数据分析是对大数据进行抽样，在已有算法的基础上，对模型进行优化。也就是为最终求得的变量x、y找到等式关系，并将误差（残差）降到尽可能低的水平，因此，小数据分析偏重统计，准确性相对较高，但缺少普适性，无法证明等式就一定是真相。

业务层面上，数据分析的本质是根据老板提出的问题找到对应的y和x，或y1、y2，x1、x2……，并且发现他们之间的关系，如果可以找到x3或者发现不同的y的价值及特征，那就是完成了数据分析的业务创新。

目前的大数据分析还存在着运算速度的问题，因此现今的数据科学家，10位中基本有9位都是编程、算法出身，只有1位为统计出身。

大数据分析师解决的是分析不同问题的算法迭代及数据流向的时间效率问题。