简单掌握MLOps的操作指南
译者|崔皓审校|重楼摘要本文强调MLOps（机器学习运营）的重要性，并详细介绍了其五个关键阶段：问题框架、解决方案框架、数据准备、模型构建和分析以及模型服务和监控。文章通过一个金融科技案例研究，详细解释了如何在实践中应用这五个阶段。最后，文章强调了实施MLOps的好处，包括解决业务问题、使用正确的工具、善用代表问题的数据集、构建最优的机器学习模型，以及部署和监控模型。开篇许多数据科学项目因为各种原因都不为人所知。MLOps就是其中一个，MLOps指的是从数据阶段到部署阶段的过程，它可以确保机器学习模型的成
译者 | 崔皓
审校 | 重楼
摘要
本文强调MLOps（机器学习运营）的重要性，并详细介绍了其五个关键阶段：问题框架、解决方案框架、数据准备、模型构建和分析以及模型服务和监控。文章通过一个金融科技案例研究，详细解释了如何在实践中应用这五个阶段。最后，文章强调了实施MLOps的好处，包括解决业务问题、使用正确的工具、善用代表问题的数据集、构建最优的机器学习模型，以及部署和监控模型。
开篇
许多数据科学项目因为各种原因都不为人所知。MLOps就是其中一个， MLOps指的是从数据阶段到部署阶段的过程，它可以确保机器学习模型的成功。在这篇文章中，你将了解到MLOps的关键阶段（从数据科学家的角度）以及一些常见的陷阱。
小提示：根据估计，2019年MLOps市场规模为232亿美元，并预计到2025年将达到1260亿美元。这是因为MLOps在业内被广泛应用
MLOps的动机
MLOps是一种专注于运营数据科学模型的实践。通常，在大多数企业中，数据科学家负责建模数据集，预处理数据，进行特征工程，最后构建模型。然后，模型被“扔”给工程团队，以便部署成API或者站点。在这个过程中，科学（建模）和工程（部署）往往在各自的孤岛中进行，两部分工作的隔离导致部署延迟，在最坏的情况下，会导致部署错误。MLOps可以快速准确地部署企业规模的ML模型。数据科学往往被人认为 “说起来容易做起来难”。MLOps就是这一领域的灵丹妙药，用来根治从模型学习到生产部署的各种疑难杂症。其实数据科学家都清楚，90%的ML模型并没有投入生产。MLOps给数据科学和工程团队带来了标准和流程，确保他们紧密且持续地合作。这种合作对于确保模型成功部署至关重要。
简述MLOps
对于熟悉DevOps的人来说，MLOps对于机器学习应用就像DevOps对于软件应用一样重要。MLOps有多种形式，然而有五个关键阶段对于MLOps策略至关重要，同时每个阶段都需要与利益相关者进行沟通。下面我们就展开说明有哪五个阶段：
问题框架
为了成功部署模型并进行使用，深入理解业务问题是至关重要的。在这个阶段，与所有利益相关者进行交流是必要的，以获得项目的支持。这些利益相关者包括工程师、产品经理、合规人员等
解决方案框架
只有在问题陈述被详细讨论之后，才开始考虑“如何”以及是否需要机器学习来解决业务问题？一开始，作为数据科学家，我建议避开机器学习，这一举动可能会让人觉得奇怪。因为“巨大的力量带来的是巨大的责任”。我们只要确保机器学习模型被建立、部署和仔细监控，以确保它满足并继续满足业务需求。同时，在这个阶段也应该与利益相关者讨论时间表和资源。
数据准备
一旦决定走机器学习的路线，就开始考虑"数据"。这个阶段包括数据收集、数据清洗、数据转换、特征工程和标签（对于监督学习）。在这里需要记住的格言是"垃圾输入，垃圾输出"。这个步骤通常是过程中最痛苦的步骤，对于确保模型成功至关重要。要确保多次验证数据和特征，以确保它们与业务问题相符。记录你在创建数据集时做出的所有假设。例如：一个特征的异常值真的是异常值吗？
模型构建和分析
在这个阶段，需要构建和评估多个模型，选择最能解决问题的模型架构。选择的优化指标应反映业务需求。现在，有许多机器学习库可以加快这个步骤。记住记录和跟踪你的实验，以确保机器学习流水线的可重复性。
模型服务和监控
一旦我们从前一阶段构建出模型对象，需要考虑如何让最终用户“使用”它。最小化响应延迟，以及最大化吞吐量。部署服务模型为REST API端点，并将其部署到云上的Docker容器或在边缘设备上。即便是顺利部署了服务，但也不能高兴得太早，因为还存在变数。例如，生产中的数据可能会漂移，导致模型衰退，或者模型会受到对抗性攻击。我们需要为机器学习应用建立强大的监控基础设施。这里需要监控两件事：
需要重新写的内容是：1. 部署环境的健康状况（例如：负载、使用情况、延迟）
需要重写的内容是：2. 模型的健康状况（例如：性能指标，输出分布）
在这个阶段也需要确定监控频率。每天、每周还是每月监控ML应用程序？至此，已经建立、部署和监控了一个健壮的机器学习应用程序。但是，轮子并没有停止旋转，因为上述步骤需要不断迭代。
金融科技案例研究
为了将上述五个阶段付诸实践，我们会举一个案例作为最佳实践的参考。假设你是一家金融科技公司的数据科学家，负责部署一个用于检测欺诈交易的欺诈模型。在这种情况下，首先要深入研究检测的欺诈类型（是第一方还是第三方？）。交易如何被确定为欺诈或非欺诈？是由最终用户报告的，还是你必须使用启发式方法来识别欺诈？谁会使用模型？它将实时使用还是批量模式？回答上述问题对解决这个业务问题至关重要。
接下来，我们需要考虑哪种解决方案能够最有效地解决这个问题。我们需要确定是使用机器学习来解决这个问题，还是先从简单的启发式方法入手来处理欺诈行为？我们还需要弄清楚是否所有的欺诈行为都源自于一小部分IP地址？
如果你决定构建一个机器学习模型（假设这个案例是监督学习），你将需要标签和特征。你将如何处理缺失的变量？异常值呢？欺诈标签的观察窗口是多少？即用户报告欺诈交易需要多长时间？是否有一个数据仓库可以用来构建特征？在向前移动之前，确保验证数据和特征。这也是与利益相关者就项目方向进行交流的好时机
一旦你有了所需的数据，就构建模型并进行必要的分析。确保模型指标与业务使用相符。（例如：对于这个用例，可能是第一分位数的召回率）。所选的模型算法是否满足延迟要求？
最后，需要与工程协调部署和服务模型。由于欺诈检测是一个非常动态的环境，欺诈者努力保持在系统前面，所以监控非常重要。对于数据和模型都需要有一个监控计划。例如，人口稳定性指数（PSI）是常用的用来跟踪数据漂移的指标。你计划多久重新训练一次模型？
现在，你可以成功地通过使用机器学习（如果需要的话！）来减少欺诈交易，从而创造商业价值。
结论
希望你在阅读这篇文章后能够理解MLOps对企业实现机器学习到部署所带来的好处。总的来说，MLOps可以为数据科学团队带来以下优势：
- 解决正确的业务问题
- 使用正确的工具来解决问题
- 利用代表问题的数据集
- 构建最优的机器学习模型
- 最后部署和监控模型以确保持续的成功
然而，要注意常见的陷阱，以确保你的数据科学项目不会成为数据科学墓地的一块墓碑！数据科学应用是一个活生生的东西。数据和模型需要持续被监控。从一开始就应该考虑AI治理，而不是作为事后的想法。牢记这些原则，我相信你可以真正地利用机器学习（如果需要的话！）创造商业价值。
译者介绍
崔皓，51CTO社区编辑，资深架构师，拥有18年的软件开发和架构经验，10年分布式架构经验。
原文标题：How to MLOps like a Boss: A Guide to Machine Learning without Tears，作者：Natesh Babu Arunachalam
Adobe Acrobat Pro 是面向办公、法务、财务、教育及出版用户的专业PDF处理软件，可在Mac上创建、编辑、转换、合并和保护文档，并提供OCR文字识别、表单、批注、内容比较、敏感信息遮盖及电子签名功能。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Shapr3D是一款面向工业设计、机械工程、建筑概念和三维打印工作流的CAD软件。Mac版采用Parasolid建模内核，支持草图约束、实体建模、工程图、可视化渲染及常见CAD格式交换，并可通过账户在多台设备之间同步项目。
Adobe Illustrator 是 Adobe 推出的专业矢量图形设计软件，适合在 Mac 上制作标志、图标、插画、包装、信息图及印刷版面。它以路径和锚点构建可无损缩放的图形，并提供钢笔、形状、文字、图像描摹、渐变、画板及生成式功能。
Adobe InDesign 是面向印刷品与数字出版物的专业版面设计软件，可在 Mac 上制作书籍、杂志、宣传册、海报、报告及交互式文档。它提供精细的文字样式、网格、母版、长文档管理和印前输出能力。
Affinity Designer 的矢量设计能力现已整合进 Affinity by Canva，可在 Mac 上进行标志、图标、插画、界面原型及印刷品设计。个人用户使用免费 Canva 账户即可使用完整的矢量、像素和版面工具。
Archicad是Graphisoft推出的建筑信息模型设计软件，可在Mac上完成概念设计、参数化建模、图纸编制、工程量统计、渲染展示及团队协同。模型与平立剖面、明细表和布局保持关联，适合建筑师、室内设计师、BIM团队及相关专业学生使用。
AutoCAD LT是Autodesk推出的专业二维CAD设计与文档编制软件，Mac版本提供原生界面、多点触控及分屏查看体验。用户可精确创建和编辑DWG图形，完成图层管理、尺寸标注、表格、PDF参考、外部参照及打印输出。
AutoCAD for Mac 是 Autodesk 面向 macOS 提供的专业计算机辅助设计软件，支持精确的二维绘图、标注、布局输出以及实体、曲面和网格建模。软件采用适配 Mac 操作习惯的界面，可处理 DWG 图纸。
Autodesk Fusion 是面向产品设计与制造的一体化云连接平台，在 Mac 上提供参数化建模、自由曲面、装配、工程图、仿真、PCB 设计和 CAM 加工等工具。它适合机械工程师、工业设计师、创客及制造团队使用。
Autodesk Maya是一套面向影视动画、游戏开发和视觉特效制作的专业三维创作软件，集多边形与曲面建模、角色绑定、关键帧动画、动力学模拟、程序化特效及Arnold渲染于一体，并提供脚本、插件和开放式制作管线支持。
Blender是一款免费开源的综合三维创作软件，可在Mac上完成建模、数字雕刻、材质制作、角色绑定、动画、物理模拟、渲染、合成及视频剪辑。软件提供Cycles与Eevee渲染工具，并支持几何节点、蜡笔绘制和Python扩展。
AutoCAD 是 Autodesk 推出的专业计算机辅助设计软件，Windows 版支持精确二维绘图、三维实体与曲面建模、图纸标注、布局发布和任务自动化，并包含多套行业专业化工具组合，适用于建筑、机械、电气、工程建设及制造设计人员。
Adobe Acrobat Pro 是面向专业 PDF 工作的综合解决方案，可在 Windows 中创建、编辑、转换、比较、整理和保护文档，并支持表单、电子签名、扫描件文字识别及敏感信息永久遮盖。订阅还包含网页、移动服务和云端协作能力，
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
Adobe InDesign 是面向印刷与数字出版的专业页面排版工具，可制作书籍、杂志、宣传册、海报、交互式 PDF 和电子书。它提供精细的文字样式、多页面管理、印前检查及多格式输出能力，并能与 Photoshop、Illustrator
Adobe Illustrator 是用于绘制矢量图形、插画、图标、徽标和版式的专业设计工具。它以路径和锚点为核心，作品放大后仍能保持清晰，并提供画板、文字、渐变、图像描摹及精确变换等功能，适合品牌视觉、印刷物料、数字界面和商业插画创作。
Figma 是面向产品设计与开发团队的云端协作平台，可在 Windows 桌面客户端中完成界面绘制、组件管理、交互原型、评论评审和开发交付。文件保存在云端，多名成员能够同步编辑并共享设计系统；官方同时提供免费 Starter 方案及按席位计
Affinity Designer 是面向矢量图形、数字插画和界面设计的专业创作工具，可在矢量、像素与导出工作区之间快速切换。它提供曲线编辑、形状构建、画板、排版、图层和专业色彩管理，并支持常见设计文件的导入及多种印刷、网页格式输出。
Cinema 4D是Maxon推出的专业三维创作软件，将建模、动画、MoGraph动态图形、粒子与动力学模拟、材质灯光及Redshift渲染整合在统一工作环境中，适用于广告包装、影视特效、产品和建筑可视化、游戏素材等制作场景。
Blender 是免费开源的三维创作套件，在 Windows 上提供建模、雕刻、材质、动画、物理模拟、合成、跟踪、视频剪辑及 Cycles、EEVEE 渲染工具。它适合个人创作者、学生和小型工作室，
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，
SketchUp Pro 是面向建筑、室内、景观、施工和产品设计等专业场景的三维建模工具，提供桌面建模、LayOut 二维文档、模型资源库、扩展程序及云端协作能力。其操作逻辑直观，适合从概念推敲、空间规划到图纸表达和方案汇报的完整工作流程。