数据的准备往往占到整个工作的70%的时间。数据准备包括了数据的抽取，清洗，转换，集成。

这里简单介绍一下数据缺失值处理的一般方法。

数据缺失值处理主要分成三个大类1.删除；2.补齐；3.忽略。

---

删除数据

将存在遗漏信息属性值的数据删除，得到一个完整的数据组。

优点：简单易行，在数据含有多个属性缺失值、被删除的含缺失值的数据与信息表中的数据量相比非常小的情况下是非常有效的
缺点：它是以减少历史数据来换取信息的完备，会造成资源的大量浪费，丢弃了大量隐藏在这些被删除数据中的信息。在信息表中本来包含数据很少的情况下，删除少量数据就足以严重影响到信息表信息的客观性和结果的正确性；当每个属性空值的百分比变化很大时，它的性能非常差。

因此，当遗漏数据所占比例较大，特别当遗漏数据非随机分布时，这种方法可能导致数据发生偏离，从而引出错误的结论。

---

数据补齐

我们通常是基于数理统计原理对信息表中其余数据取值的分布情况来对一个空值进行填充。

特殊值

将空值作为一种特殊的属性值来处理，它不同于其他的任何属性值。如所有的空值都用“unknown”填充。这样可能导致严重的数据偏离，一般不推荐使用。

平均值

将信息表中的属性分为数值属性和非数值属性来分别进行处理。

如果空值是数值型的，就根据该属性在其他所有数据的取值的平均值来填充该缺失的属性值；如果空值是非数值型的，就根据统计学中的众数原理，用该属性在其他所有数据的取值次数最多的值(即出现频率最高的值)来补齐该缺失的属性值。

另外有一种与其相似的方法叫条件平均值填充法（Conditional Mean Completer）。在该方法中，缺失属性值的补齐同样是靠该属性在其他数据中的取值求平均得到，但不同的是用于求平均的值并不是从信息表所有数据中取，而是从与该数具有相同决策属性值的对象中取得。这两种数据的补齐方法，其基本的出发点都是一样的，以最大概率可能的取值来补充缺失的属性值，只是在具体方法上有一点不同。与其他方法相比，它是用现存数据的多数信息来推测缺失值。

热卡填充

也称作“就近补齐“。

对于一个包含空值的数据，热卡填充法在完整数据中找到一个与它最相似的数据，然后用这个相似数据的值来进行填充。不同的问题可能会选用不同的标准来对相似进行判定。该方法概念上很简单，且利用了数据间的关系来进行空值估计。这个方法的缺点在于难以定义相似标准，主观因素较多。

本人比较推荐使用这种方法，它可以根据你对问题背景的了解而设计相应的估计模型来进行数据缺失值填充。

K-近邻取值

先根据欧式距离或相关分析来确定距离具有缺失数据样本最近的K个样本，将这K个值加权平均来估计该样本的缺失数据。

回归

基于完整的数据集，建立回归方程（模型）。对于包含空值的数据，将已知属性值代入方程来估计未知属性值，以此估计值来进行填充。当变量不是线性相关或预测变量高度相关时会导致有偏差的估计。

EM算法

在缺失类型为随机缺失的条件下，假设模型对于完整的样本是正确的，那么通过观测数据的边际分布可以对未知参数进行极大似然估计（Little and Rubin）。这种方法也被称为忽略缺失值的极大似然估计，对于极大似然的参数估计实际中常采用的计算方法是期望值最大化(Expectation Maximization，EM）。该方法比删除个案和单值插补更有吸引力。

它一个重要前提：适用于大样本。有效样本的数量足够以保证ML估计值是渐近无偏的并服从正态分布。但是这种方法可能会陷入局部极值，收敛速度也不是很快，并且计算很复杂。

EM算法是一种在不完全数据情况下计算极大似然估计或者后验分布的迭代算法。在每一迭代循环过程中交替执行两个步骤：E步（Excepctaion step,期望步），在给定完全数据和前一次迭代所得到的参数估计的情况下计算完全数据对应的对数似然函数的条件期望；M步（Maximzation step，极大化步），用极大化对数似然函数以确定参数的值，并用于下步的迭代。算法在E步和M步之间不断迭代直至收敛，即两次迭代之间的参数变化小于一个预先给定的阈值时结束。该方法可能会陷入局部极值，收敛速度也不是很快，并且计算很复杂。

多值填充 Multiple Imputation(MI)

多值插补的思想来源于贝叶斯估计，认为待插补的值是随机的，它的值来自于已观测到的值。具体实践上通常是估计出待插补的值，然后再加上不同的噪声，形成多组可选插补值。根据某种选择依据，选取最合适的插补值。

---

不做处理

补齐处理只是将未知值补以我们的主观估计值，不一定完全符合客观事实，在对不完备信息进行补齐处理的同时，我们或多或少地改变了原始的信息系统。而且，对空值不正确的填充往往将新的噪声引入数据中，使挖掘任务产生错误的结果。因此，在许多情况下，我们还是希望在保持原始信息不发生变化的前提下对信息系统进行处理。

直接在包含空值的数据上进行数据挖掘。这类方法包括贝叶斯网络和人工神经网络等。

贝叶斯网络是用来表示变量间连接概率的图形模式，它提供了一种自然的表示因果信息的方法，用来发现数据间的潜在关系。在这个网络中，用节点表示变量，有向边表示变量间的依赖关系。贝叶斯网络仅适合于对领域知识具有一定了解的情况，至少对变量间的依赖关系较清楚的情况。否则直接从数据中学习贝叶斯网的结构不但复杂性较高（随着变量的增加，指数级增加），网络维护代价昂贵，而且它的估计参数较多，为系统带来了高方差，影响了它的预测精度。当在任何一个数据中的缺失值数量很大时，存在指数爆炸的危险。

参考资料：
http://blog.csdn.net/zrjdds/article/details/50223091
https://www.jianshu.com/p/945ea9b8303c
http://blog.csdn.net/fwj_ntu/article/details/78237331