如何使用Python实现数据清洗中的缺失值填充_基于Pandas的fillna策略
做数据清洗的朋友应该都遇到过这样的场景：拿到一份数据，跑起来全是NaN，顺手敲一行fillna(0)或者fillna("unknown")，以为万事大吉。结果呢？后面建模的时候，数值列莫名其妙变成了字符串，分类列里凭空多出来一个本该不存在的“0”类别，整个数据分析流程直接卡住。这事并不稀奇——fil
做数据清洗的朋友应该都遇到过这样的场景：拿到一份数据，跑起来全是NaN，顺手敲一行fillna(0)或者fillna("unknown")，以为万事大吉。结果呢？后面建模的时候，数值列莫名其妙变成了字符串，分类列里凭空多出来一个本该不存在的“0”类别，整个数据分析流程直接卡住。这事并不稀奇——fillna看似简单，但踩坑的人从来不少。
先提个醒：fillna的第一个教训，就是绝对不能一刀切。直接用fillna(0)去填所有列，数值列可能还没太大问题，一旦碰到时间列或分类列，那麻烦就大了。时间列填进去一个整数，Pandas会强制把它转成object，后续所有时间计算全废；分类列填0，可能被模型当成一个有效类别，但业务上这个0压根不存在。所以动手填充前，第一件事是搞清楚每列的dtype和业务含义。
数值列的处理相对简单：均值和中位数是首选。异常值偏多的时候，中位数更稳。写法上就是fillna(df["col"].mean())或者fillna(df["col"].median())。时间列得特殊照顾——不能用数字或字符串去填，必须用pd.NaT，或者一个合理的默认时间点，比如fillna(pd.Timestamp("1970-01-01"))。分类列的玩法不一样，填"Missing"比填None更可控，但关键是提前把列转成category类型，确保新值能被系统识别为合法类别，否则填进去也会被忽略。
fillna 填什么值？先看缺失类型再选策略
直接用 fillna(0) 或 fillna("unknown") 很危险——数值型列填字符串会强制转为 object 类型，后续计算全报错；分类列填 0 可能被误当有效类别。必须先确认 dtype 和业务含义。
- 数值列（
float64）：优先考虑fillna(df["col"].mean())、fillna(df["col"].median())，异常值多时用中位数更稳 - 时间列（
datetime64）：不能填数字或字符串，得用pd.NaT或合理默认时间，比如fillna(pd.Timestamp("1970-01-01")) - 分类列（
object或category）：填"Missing"比None更可控，且要提前用df["col"] = df["col"].astype("category")确保新值能被识别为合法类别
按列差异调用 fillna：避免整表一刀切
用 df.fillna({"A": 0, "B": "N/A", "C": df["C"].mode()[0]}) 是最常用也最安全的方式。整表统一填一个值（如 df.fillna(0)）会污染非数值列，且无法处理众数为空（所有值唯一）的情况。
mode()返回Series，必须取[0]；若列全空，mode()返回空Series，直接取[0]报IndexError，得加判断：df["col"].mode().iloc[0] if not df["col"].mode().empty else "Unknown"- 对时间列单独处理：先用
pd.to_datetime(df["time"], errors="coerce")转成datetime64，再填pd.NaT或前向填充fillna(method="ffill") - 别在原地改：始终写
df_clean = df.fillna(...)，而不是df.fillna(..., inplace=True)，后者在链式操作中容易出不可复现的 bug
用 method 参数做时序/结构化填充：ffill 和 bfill 的边界问题
method="ffill" 不是万能的——它只沿指定轴向前传播最后一个有效值，遇到开头连续缺失就完全无效。实际中常需组合使用或加限制。
- 限制填充长度：
fillna(method="ffill", limit=3)防止一个有效值撑起后面几十行 - 按组填充更合理：比如用户行为日志，应先
groupby("user_id")再apply(lambda x: x.fillna(method="ffill"))，否则用户 A 的数据会污染用户 B 的字段 bfill在末尾缺失多时有用，但和ffill一样不校验逻辑合理性——比如“注册时间”列用bfill填了未来日期，程序不会报错，但业务上绝对错误
fillna 后必须验证：dtype 和非空计数是否符合预期
填完不检查等于没填。尤其要注意 object 列混入 float 或 int 后，isna() 仍返回 True，但 sum() 会直接报错。
- 快速核对：
df_clean.dtypes看有没有意外变成object；df_clean.isna().sum()确认目标列确实为 0 - 数值列验证：填均值后用
df_clean["num_col"].describe()看min/max是否仍在合理区间，避免因原始数据有极端异常值导致均值失真 - 写进清洗函数里：每次
fillna后加一句assert df_clean[col].notna().all(), f"{col} still has NaN after fill"，CI 流程里就能立刻暴露问题
最后说一个容易被忽视的点：fillna不是万能的，它不会改变缺失模式带来的分布偏移。比如用中位数去填充大量缺失的收入字段，建模时模型会误以为中位数就是真实的高频值，结果自然不准。真正严谨的清洗，往往需要配合插值、建模预测填充，或者明确标记“已填充”的列供下游感知。数据清洗不是填个值就完事，后续的验证和审计同样不可少。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。
Cubase 是 Steinberg 推出的数字音频工作站，提供 MIDI 编曲、多轨录音、音频编辑、虚拟乐器、效果处理、自动化、混音和母带输出工具。其 Pro、Artist 与 Elements 版本面向不同预算和制作规模，