缺失值插补方法

你有没有盯着Excel里一片片刺眼的“#N/A”抓狂过？小编就遇到过！上次分析销售数据，缺了十几天的记录，模型跑出来全是鬼画符——​​缺失值简直是数据分析的暗坑​​，踩中了轻则结果失真，重则结论翻车。但别慌！今天咱们就唠唠怎么用插补法把坑填平，保你数据稳当、模型不崩！

​​一、基础三板斧：简单但别小看​​

​​1. 均值/中位数补缺：​​

• •

  ​​适用场景​​：数字型数据，比如温度、销售额。要是缺得少（<10%），直接上全体平均值就行。但话说回来，如果数据里混进几个离谱的异常值（比如某天销售额误输成1个亿），这时候​​中位数就更扛造​​——毕竟它专治“极端分子”。

• •

  ​​操作口诀​​：Excel里点个AVERAGE或MEDIAN，1秒搞定。

​​2. 众数补分类：​​

• •

  ​​举个栗子​​：调查问卷里“职业”空了几行？那就填出现最多的“学生”或“白领”。​​不过注意​​！要是选项太分散（比如10个人选8种职业），硬塞众数可能反而带偏节奏。

​​3. 前后填充：时间序列专属​​

• •

  ​​典型操作​​：前向填充（拿昨天的温度补今天）或后向填充（用明天的补今天）。适合气温、股价这类“惯性强”的数据。但要是数据突然跳水（比如疫情封城导致销量暴跌），可别这么干——​​否则平滑了波动，掩盖了真相​​！

​​二、进阶玩家技巧：关系越复杂越管用​​

​​1. KNN插补：找“邻居”借数​​

• •

  ​​核心逻辑​​：和缺数据的样本越像的“邻居”，说话越有分量。比如补“身高”时，​​性别相同、年龄相近的人更值得参考​​。

• •

  ​​实战TIP​​：用Python的KNNImputer，调n_neighbors=3（一般3-5个邻居够用）——​​别贪多，否则隔壁老王都来掺和​​。

​​2. 多重插补：高端操作的标配​​

• •

  ​​为啥靠谱​​？它承认“补的值未必准”，所以​​一口气补5套数据​​，分别跑模型，最后汇总结果——像极了“多请几个专家会诊”。

• •

  ​​局限坦白​​：计算量贼大！样本少于100条时慎用，等结果等到你怀疑人生（小编亲测熬夜警告⚠️）。

​​3. 拉格朗日插值：玩转连续变化​​

• •

  ​​最适合​​：传感器按秒记录但丢了几帧的温度数据。原理是用多项式曲线串起已知点，​​强行把断线连成光滑曲线​​。代码虽复杂（要调scipy的lagrange函数），但对周期性波动贼灵敏！

​​三、小编的避坑心得​​

1. 1.

   ​​先问再补​​：

   缺数据是随机漏的（MCAR），还是穷人不填收入（MNAR）？后者硬补会翻车！​​建议先跑个缺失模式分析​​（SPSS里点“分析→缺失值分析”）。

2. 2.

   ​​分类变量别碰均值​​：

   见过有人用“平均职业=1.5”补职业类型？大忌！​​离散数据老实众数或KNN​​。

3. 3.

   ​​效果验证不能省​​：

   补完的数据，和原始分布对比直方图——要是补出个“双峰骆驼背”，赶紧回炉重造！

​​个人观点​​：插补不是变魔术，而是​​带枷锁跳舞​​。我曾用KNN补客户收入，结果高收入群全被拉平均——后来才知道，高收入者普遍拒填收入（典型的MNAR！）。这教训告诉我：​​补得再妙，不如源头防漏​​。下次设计问卷，必加“不想填收入？选个范围也行嘛！”