Excel数据去重与清洗：自带功能、Power Query及OpenRefine实操指南

Excel：先明确按哪些列判断重复

Excel 自带的“删除重复项”功能足以清理大多数简单的重复记录，无需立即安装额外软件。但在操作前，必须明确依据哪些列来判断数据是否重复。

在 Excel 中选中数据区域，点击菜单栏的“数据”选项卡，选择“删除重复项”。在弹出的对话框中，勾选用于判断重复的列。例如，判断一条订单是否重复，可能需要同时检查“订单号”和“明细项”；如果仅按“客户姓名”去重，可能会误删同一客户不同时间的真实交易记录。此外，如果表格包含标题行，务必确认对话框中的“数据包含标题”选项已勾选，以免标题被当作数据处理。

需要注意的是，“删除重复项”会直接修改原始数据。建议在操作前先复制一份工作表作为备份。如果仅希望找出潜在问题而不立即删除，可以先使用“条件格式”标记重复值，人工查看确认后再处理。视觉上相同的内容可能包含不可见的空格或属于不同的数据类型，因此不能直接将视觉相同等同于规则相同。

Power Query：把清洗步骤保存下来重复使用

对于需要定期整理结构相同的报表，Power Query 是更高效的选择。它允许用户统一列名和数据类型，整理空白单元格及错误值，最后按选定列删除重复行。所有操作步骤都会被保存，下次导入新数据时只需刷新即可，无需重复手工操作。

相关入口位于 Power Query 编辑器的“主页”选项卡下，选择“删除行”中的“删除重复项”，也可以根据所选列使用右键菜单中的对应功能。

在使用 Power Query 进行文本去重时需注意，其文本比较默认区分大小写。如果业务逻辑认为“ABC”与“abc”是同一个值，应先通过转换函数统一大小写，再执行去重操作。此外，不要依赖“删除重复项”功能必然保留你希望的那条记录（如最新日期或最高优先级数据）。若有此类需求，应在去重前设计明确的排序和筛选规则，确保保留的是正确的那一行。

辅助工具：记录数据一键导出 Excel/CSV

在清洗过程中或完成后，若需将处理好的记录数组导出为带样式的 Excel (.xlsx) 或带 BOM 的 CSV 文件，可使用支持列配置的工具。这类工具通常支持设置表头、列宽、列顺序，以及表头冻结首行、斑马纹样式、布尔值转“是/否”、数组换行显示等功能。对于 CSV 导出，还能有效防止中文乱码。此类零依赖的导出方式适用于 JSON 转表格、数据导出及表格美化等场景。

OpenRefine：适合清理不一致的名称和写法

当遇到公司名称、产品名称写法不统一（如“有限公司”与“有限责任公司”混用）时，免费的开源工具 OpenRefine 能提供强力辅助。这是一个本地运行、通过浏览器界面操作的软件。

将表格数据导入 OpenRefine 项目后，可以使用“文本分面”（Text Facet）快速检查列中存在的不同写法。接着，从列菜单进入“Edit cells” -> “Cluster and edit”，系统会自动查找相似的文本值并分组展示。用户可以逐组确认这些相似值是否指向同一对象，确认后将其合并为统一的写法。

需要强调的是，聚类功能并非自动判定业务上的完全相同，也不等于直接删除整行重复记录。名称相近的两个客户可能并非同一人，缩写也可能对应不同机构。因此，必须逐组人工确认后再执行合并。整理完毕的数据可导出为标准格式继续使用，但 OpenRefine 无法保留 Excel 文件中的公式、图表和页面布局，它专注于数据本身的清洗。

行数变少，不一定代表数据清理对了

数据清洗的核心在于理解业务逻辑，而非单纯减少行数。同一个客户下了两笔订单，这两行数据虽然部分字段相同，但并非重复记录；同一家公司的名称写了两种形式，也不一定需要删除其中一行，有时可能需要保留历史写法或进行映射。

在执行去重前，想清楚一条唯一记录由哪些字段共同确定，比选择哪个按钮更重要。建议在处理前后记录总行数和关键汇总值（如总金额），以便解释删掉了什么内容。此外，对于产品编码、身份证号等字段，应按文本格式处理，避免在清洗过程中因自动转换而丢掉前导零或改变长数字的科学计数法表示。