展开菜单
首页 精品内容 本月促销 装机必备 Windows PDF教程 macOS软件 IOS软件 Android AI 专题
全部分类

当前位置:

首页 > 编程开发 > 如何在使用标准化数据训练模型后,为部分依赖图(PDP)正确还原原始尺度的横坐标

如何在使用标准化数据训练模型后,为部分依赖图(PDP)正确还原原始尺度的横坐标

使用标准化数据训练模型后,部分依赖图(PDP)的横坐标是标准化值,难以解释。正确做法是保持标准化输入,仅对图表横轴刻度标签进行逆变换,利用原始训练数据的均值和标准差还原实际数值,确保计算准确且图表可读。

假设你辛辛苦苦训练了一个随机森林模型,对着输出的部分依赖图(PDP)一看,横轴上一串数字:-2.5、0.0、2.0……这到底对应原始特征里的什么值?数据跑通了,业务同事却看不懂,这才是真正的“不可解释”。

问题的根源在于,很多模型在训练前都会用StandardScaler对特征做标准化处理(也就是调整为零均值、单位方差)。当你调用PartialDependenceDisplay.from_estimator()时,生成的PDP横轴默认展示的就是这些标准化后的数值。比如年龄这个特征,标准化的结果可能是-1.8或1.2,但业务上我们更关心的是“年龄每增加5岁”或“收入每提高1万元”对预测结果的影响,而不是“标准差变化0.3个单位”。

一个很自然的想法是:能不能先把测试集数据按原始尺度还原,再喂给PDP函数?答案是否定的,这么做会直接打乱内部网格采样的逻辑,反而弄巧成拙。正确的做法是:保持标准化后的输入,确保模型计算准确无误,最后只对最终图表上的横轴刻度标签(tick labels)做逆变换。

StandardScaler的标准化公式是:
X' = (X - μ) / σ
那么逆变换就很简单了:
X = X' * σ + μ

下面用一段代码来演示具体的实现。假设我们已经训练好了模型,并且X_test_final是标准化后的测试集,scaler是在原始训练集上拟合好的StandardScaler对象。

from sklearn.ensemble import RandomForestClassifier
from sklearn.inspection import PartialDependenceDisplay
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt
import numpy as np

# 假设已训练好模型 best_clf,X_test_final 是标准化后的测试集,
# scaler 是拟合在训练集上的 StandardScaler 实例
# best_features = ['age']  # 示例目标特征

# 1. 生成 PDP 并获取 Axes 对象
fig, ax = plt.subplots(figsize=(6, 4))
display = PartialDependenceDisplay.from_estimator(
    best_clf, 
    X_test_final, 
    features=best_features,
    ax=ax,
    line_kw={'color': 'steelblue', 'linewidth': 2}
)

# 2. 获取该特征对应的原始训练数据(用于计算均值/标准差)
# 注意:必须使用 scaler.fit() 时的原始训练特征列,而非测试集
# 假设 X_train_orig 是原始未缩放的训练特征矩阵,且 age 列索引为 0
x_orig = X_train_orig[:, 0]  # 替换为实际列索引或列名切片
mu, sigma = x_orig.mean(), x_orig.std()

# 3. 反向变换横轴刻度标签
x_ticks = ax.get_xticks()
xt_unscaled = (x_ticks * sigma) + mu

# 格式化为易读字符串(根据数据类型调整小数位数)
xt_labels = [f'{val:.1f}' if sigma > 0.1 else f'{val:.0f}' for val in xt_unscaled]
ax.set_xticks(x_ticks)  # 保持原刻度位置
ax.set_xticklabels(xt_labels)
ax.set_xlabel(f'{best_features[0]} (original scale)')
plt.tight_layout()
plt.show()

这里有几个细节需要特别注意。
第一,均值和标准差必须来源于原始训练数据,也就是scaler.fit(X_train)所用的数据,用测试集或者其他数据集的数据都会导致逆变换失真。
第二,如果你的项目中使用了ColumnTransformer或管道(Pipeline),可以从scaler对象中显式提取scaler.mean_[i]和scaler.scale_[i](scale_就是标准差)来找到对应特征的统计量。
第三,如果PDP涉及多个特征,需要对每个子图的axes分别处理,并匹配对应的特征统计量。
第四,这个技巧只修改了视觉标签,不改变PDP内部的计算逻辑,模型始终在标准化空间里评估,保证了数学上的一致性。

通过这种方法,你可以在不牺牲模型性能和计算严谨性的前提下,让PDP图表真正“说人话”。业务沟通和模型诊断的效率,会因此提升不少。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
作者最新文章
编程开发
相关文章 更多
精品专题 更多
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

IOS软件

正软商城iOS软件专区,精选适用于iPhone和iPad的办公、学习、影音、设计、效率及AI应用,提供功能介绍、适用设备、系统要求和正版获取方式等信息。

AI

正软商城AI软件专区,汇集AI写作、AI绘画、AI视频、AI办公、AI编程、AI翻译、智能客服和数据分析等人工智能工具,提供功能介绍、适用平台、收费方式及正版购买信息。

Mac软件 更多
WPS Office macOS版
WPS Office macOS版

WPS Office是一款面向macOS用户的综合办公套件,将文字处理、电子表格、演示文稿、PDF工具、模板与云协作整合在同一应用中。它兼容常见Microsoft Office格式,支持Intel及Apple芯片Mac,基础功能可免费使用,

Shapr3D macOS版
Shapr3D macOS版

Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核,支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换,并可通过账户在多台设备之间同步项目。

REAPER macOS版
REAPER macOS版

REAPER是Cockos开发的数字音频工作站,提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片,支持AU、VST、VST3、CLAP等插件格式,并提供高度可定制的工作流程。

Ableton Live macOS版
Ableton Live macOS版

Ableton Live 是面向音乐制作人与现场表演者的数字音频工作站,提供编曲视图、独具特色的现场视图、音频录制、MIDI创作、实时变速、乐器及效果器。Mac版原生支持Apple芯片,并可连接音频接口、MIDI控制器和第三方插件。

Adobe After Effects macOS版
Adobe After Effects macOS版

Adobe After Effects 是面向动态图形、影视特效与视频合成的专业创作软件。它提供关键帧动画、遮罩抠像、运动跟踪、三维空间、文字动画和表达式等工具,并可与 Premiere Pro、Photoshop、Illustrator

Adobe Audition macOS版
Adobe Audition macOS版

Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站,提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具,并可与 Adobe Premiere 协同完成视频声音制作。

Adobe Bridge macOS版
Adobe Bridge macOS版

Adobe Bridge 是面向摄影师、设计师及内容团队的免费数字资产管理工具,可集中预览照片、视频和 Adobe 项目文件,并利用评级、标签、关键词、元数据、筛选与收藏集完成分类检索。它还支持批量重命名、格式导出、相机导入及 Camera

Adobe Illustrator macOS版
Adobe Illustrator macOS版

Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件,适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形,并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。

Adobe InDesign macOS版
Adobe InDesign macOS版

Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件,可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。

Adobe Lightroom Classic macOS版
Adobe Lightroom Classic macOS版

Adobe Lightroom Classic 是面向桌面摄影工作流的照片管理与后期处理软件,可将原始照片保存在本地硬盘,通过目录、关键词、评分和收藏夹高效整理图库,并提供 RAW 冲印、蒙版、镜头校正、批量同步及多格式导出等功能。

Adobe Media Encoder macOS版
Adobe Media Encoder macOS版

Adobe Media Encoder 是 Adobe 推出的专业音视频编码与转码工具,可通过队列、预设和监视文件夹批量完成格式转换、代理文件创建及多平台成片输出,并与 Premiere Pro、After Effects 等软件紧密协作。

Adobe Photoshop macOS版
Adobe Photoshop macOS版

Adobe Photoshop 是面向摄影师、设计师和内容创作者的专业图像处理软件,提供图层、蒙版、选区、修复、调色、文字排版、智能对象及生成式编辑等能力。Mac 版支持 Intel 与 Apple Silicon 处理器。

WINDOWS 更多
Autodesk Fusion Windows版
Autodesk Fusion Windows版

Autodesk Fusion 是面向产品设计与制造的云连接开发平台,在统一环境中整合三维 CAD、CAM、CAE、PCB、工程图、数据管理和团队协作功能,适合产品设计师、机械工程师、电子工程师及加工制造团队完成从概念建模、验证分析到生产交

Archicad Windows版
Archicad Windows版

Archicad 是 Graphisoft 面向建筑师、设计师、工程师及 BIM 团队开发的建筑信息模型平台。它把三维建筑建模、施工文档、数据管理、专业协调、实时协作和可视化集中在统一项目环境中,适合从概念方案到施工交付的完整建筑设计流程。

Vectorworks Architect Windows版
Vectorworks Architect Windows版

Vectorworks Architect 是面向建筑师、室内设计师和建筑顾问的综合设计与BIM平台,覆盖概念草图、二维制图、三维建模、施工文档、数据报表、可视化及开放式协作。它强调自由造型与数据化建筑对象并存,

Shapr3D Windows版
Shapr3D Windows版

Shapr3D 是一款基于 Siemens Parasolid 几何内核的专业三维CAD软件,可在 Windows 电脑和平板设备上完成草图绘制、实体建模、参数化修改、模型可视化及技术图纸制作。软件提供免费基础方案,

FreeCAD Windows版
FreeCAD Windows版

FreeCAD 是面向机械设计、产品开发、建筑建模和创客项目的免费开源参数化三维 CAD 工具。它可在 Windows 上完成约束草图、实体零件、装配、工程图、BIM、有限元分析及 CAM 等任务,

Twinmotion Windows版
Twinmotion Windows版

Twinmotion 是 Epic Games 推出的实时三维可视化工具,可导入常见 CAD、BIM 与三维模型,通过材质、环境、植被、灯光及动画资源快速构建场景,并输出图片、视频、全景图和交互演示。

BricsCAD Windows版
BricsCAD Windows版

BricsCAD 是以 DWG 为核心格式的专业 CAD 平台,可用于二维制图、三维建模、工程文档与设计协作。产品按 Lite、Pro、BIM、Mechanical 和 Ultimate 等层级提供不同工具,

Ableton Live Windows版
Ableton Live Windows版

Ableton Live 是面向音乐创作、录音、编曲、声音设计、混音与现场演出的数字音频工作站。它将适合即兴触发素材的 Session 视图与传统时间线编曲结合,并提供音频变速、MIDI工具、软件乐器、效果器和声音资源,

FL Studio Windows版
FL Studio Windows版

FL Studio 是 Image-Line 推出的数字音频工作站,面向音乐制作人、编曲者、歌手及声音设计人员。它将步进音序、钢琴卷帘、音频录制、剪辑、混音、自动化和插件宿主整合在统一环境中,并提供大量乐器、效果器、采样与预设。

Pro Tools Windows版
Pro Tools Windows版

Pro Tools 是 Avid 推出的专业数字音频工作站,提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用,并提供免费入门版、订阅方案及永久授权选择。

Adobe Audition Windows版
Adobe Audition Windows版

Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站,提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理,

REAPER Windows版
REAPER Windows版

REAPER 是 Cockos 推出的数字音频工作站,适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧,支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展,并提供完整功能的 60 天免费评估期。