我眼中的数据分析

数据分析是一场探索未知的旅程。

数据分析目的

宏观上看，数据分析是从杂乱无章的数据中挖掘背后的价值。

数据分析的任务必须是明确的，带着问题出发。它可以是一张简单的报表，也可以是专题或者综合分析。

数据分析步骤

主要包含8个步骤：明确目的 —— 准备数据 —— 理解数据 —— 确定分析/建模方法 —— 数据清洗 —— 数据分析 —— 展现结论 —— 撰写分析报告

• 明确目的：待解决的问题是什么？往往需要结合业务综合分析。
• 准备数据：与目的相关的数据涉及到哪些？在哪里可以采集到？内部数据：比如企业内部的数据仓库，外部数据：比如爬虫、相关的开放网站数据等。
• 理解数据：数据背后代表着什么？数据之间有什么关联？数据质量如何？可以借助可视化帮助我们更直观地理解手中的数据。
• 确定分析/建模方法：根据目的选择恰当的分析和建模方法，方法并非越高级越好，只要能完美地解答分析的问题，越简洁的方法越好。
• 数据清洗：数据预处理，包括填补缺失值、剔除异常值、scaling等。数据清洗之所以放在确定分析/建模方法之后是因为往往不同的模型对数据预处理的要求不大相同，比如树模型不需要对数据做归一化，而回归对数据归一化敏感。
• 数据分析：手中的一堆庞大的数据闪亮登场啦！将数据作为分析/建模方法的输入，通过模型的加工，输出分析结果。分析过程中，如果是复杂的机器学习模型，可能会涉及到多次试验才能训练出优质的模型。所以这个过程是反复而层层递进的，在过程推进中构建的数据蓝图也会逐渐清晰，这是一个让人兴奋的过程。
• 展现结论：得到的数据结果往往是一堆孤零零的数据，为了更形象地理解它们，可以通过可视化方法将它们生动地展现出来，让结论一目了然，也有助于进一步挖掘被忽略的奥秘。
• 撰写分析报告：带着最初的目的去解决问题，把发现的结论浓缩成精华呈现出来，辅助决策者决策。结合分析结果和业务理解，给出专业的、有建设性的见解。

数据分析方法

数据分析的方法一定要与业务相结合，只有适合业务的方法才是合适的方法。比如，漏斗分析法对分析业务流程极其友好，可以快速呈现存在问题的某个流程节点。而机器学习算法对预测类分析效果惊人。数据分析方法根据实现复杂度划分为初级和高级数据分析方法。

• 初级数据分析方法：对比分析、分组分析、结构分析、平均分析、交叉分析、综合评价分析、杜邦分析、漏斗图分析、矩阵关联分析等。可以借助excel、python等工具快速地开展分析工作。
• 高级数据分析方法：一般涉及机器学习算法的分析方法，比如聚类、回归、支持向量机、随机森林等。这类分析方法一般涉及到训练模型，分析时间较长。

数据分析结论

开展完前面一系列的分析工作后，终于得到了振奋人心的分析结论。除了数据分析报告，还可以关注一些评价指标，和结合业务真实情况，挖掘新的数据，完善模型，精益求精。