-------浓缩精华版---------

第一步：数据准备：（70%时间）

1、获取数据（爬虫，数据仓库）

2、验证数据

3、数据清理（缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集）

4、使用python进行文件读取csv或者txt便于操作数据文件（I/O和文件串的处理，逗号分隔）

5、抽样（大数据时。关键是随机）

6、存储和归档

第二步：数据观察（发现规律和隐藏的关联）

1.单一变量：点图、抖动图；直方图、核密度估计；累计分布函数

2.两个变量：散点图、LOESS平滑、残差分析、对数图、倾斜

3.多个变量：假色图、马赛克图、平行左边图

第三步：数据建模

1.推算和估算（均衡可行性和成本消耗）

2.缩放参数模型（缩放维度优化问题）

3.建立概率模型（二项、高斯、幂律、几何、泊松分布与已知模型对比）

第四步：数据挖掘

1.选择合适的机器学习算法（蒙特卡洛模拟，相似度计算，主成分分析）

2.大数据考虑用Map/Reduce

3.得出结论，绘制最后图表

循环到第二步到第四步，进行数据分析，根据图表得出结论完成文章。

--------业务分析版--------

作者艾伯特-拉斯洛·巴拉巴西认为——人类93%的行为是可以预测的。数据作为人类活动的痕迹，就像金矿等待发掘。但是首先你得明确自己的业务需求，数据才可能为你所用。

1. 数据为王，业务是核心

a.了解整个产业链的结构

b.制定好业务的发展规划

c.衡量的核心指标有哪些

有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构，对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要，指定发展计划，从而归类出需要整理的数据。最后一步详细的列出数据核心指标（KPI），并且对几个核心指标进行更细致的拆解，当然具体结合你的业务属性来处理，找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。