一种新的告警收敛方式“先知预警”，为您的系统健康护航|京东云技术团队
前言简介买基金，上京东基金交易系统是用户使用京东金融APP进行基金交易的核心支撑系统，每天有数十亿元的交易额。在大额的交易面前，系统的稳定性尤其重要，同时基金业务比较复杂，为保障每个地方的稳定，告警埋点很多，加上各种日终检查，看似很完美，实际却有了新的问题，因告警太多，日检滞后，而无法快速处理有效异
前言
简介
买基金，上京东
基金交易系统是用户使用京东金融APP进行基金交易的核心支撑系统，每天有数十亿元的交易额。
在大额的交易面前，系统的稳定性尤其重要，同时基金业务比较复杂，为保障每个地方的稳定，告警埋点很多，加上各种日终检查，看似很完美，实际却有了新的问题，因告警太多，日检滞后，而无法快速处理有效异常，导致对账延迟和引发客诉。
结合日常处理经验，我们重新思考是否有好的方式，提前发现异常，改善此事，于是在基金交易系统中做了一件事情，有效的提高了系统的稳定性，以下为此事的主要效果
工单数量：相对2022年1-6月的客诉总数(334)减少127个，对账时间：稳定在16点半前完成，异常订单：从每天几个变成偶发出现， 后续流程：比以往有了较强的稳定性, 同时也间接的释放了，因客诉异常引起的资源消耗（客服，产品，研发，工程师），提高了用户一定体验和满意度。
什么事项
为基金交易系统增加了新型的异常预警，能更加有效的提前发现系统异常，快速解决
为什么做这个事情
在基金交易中，每天有几十万的订单，交易额有数十亿，基金业务场景不仅又多、又复杂，而且链路也比较长，盘后的数据检查经常由于各种原因出现异常订单（运营配置错误，基金公司下发文件异常，系统bug等），而无法顺利对账，影响后续流程。排查定位和修复问题，需在2小时内完成，如果超过时长会对后续流程造成严重的影响，所以有效异常的提前发现和预警就非常重要
基金交易系统异常告警无法满足吗？
交易系统中现有2种告警，一种是即时告警，一个日终报警
即时告警**，**由于老项目时间久，存在历史原因，每天会收到数千封即时告警邮件，想筛选出真正的有效异常,变得非常困难，还有一定的时效性。
日终报警, 是在每日交易结束后，系统会自动进行日终检查，如果发现异常，需在2小时内解决，而且只能对已发生的结果进行修正，个别异常还好，如果出现批量异常，那么2小时就非常宝贵。短时间内的修复，不仅存在高压出错的风险，还可能因此对后续流程产生隐患，甚至对用户造成影响，引发客诉工单。异常工单的处理，是对客服、产品和工程师一种消耗，而且在微服务架构中排查和解决更加复杂耗时。总之每次对账出现异常，总是非常紧张。
你做的预警有什么特点
1、是即时告警和日终报警的补充
2、可通过手机一个界面随时观察异常变化
3、15分钟内即可发现疑异常订单
4、可快速定位，精确到重要场景
预警具体怎么做到呢？
首先对账能否顺利，取决异常情况，而异常又无法彻底避免，提前发现与控制就非常重要
如图，各种场景都可能出现异常
制定异常发现和处理策略
面对告警过滤困难，日终滞后， 结合历史处理经验，对系统进行再次思考，是否有更简单的方式，能有效的对异常进行实时发现预警？
通过探讨，总结了一个简单的规律：
如果关键点没按照指定时间内变更，即可定义为可疑异常 ，其严重级别可以通过汇总数量进行表示
于是制定了如下策略
制定监控预警技术方案
首先，得依据自身业务来识别。基金交易对账呢，是对订单最终标记状态的校验。咱们假设一个支付订单，要是在15分钟内，订单状态没变化，那是否该设定为可疑异常？原因可能有很多，像网络问题、MQ消息延迟、代码BUG等等，总之就是有问题。而且这样的订单数量越多，代表受影响的订单就越多，对账风险也就越高。
2：关键点的异常识别，可以采用同样的逻辑，如果在指定的时间内，关键点的状态没有发生变化，即可设定为可疑对象，比如基金交易的重要场景：申购，赎回，支付，非交易过户，退款等场景，都可以基于场景数据的状态变化或者MQ的积压情况进行识别，举个申购的例子：用户申购完成后，后续的流程是采用MQ和任务的方式执行，每个任务都有初始和完成状态，如果这个申购任务在15分钟内，没有标记为完成，即可定义为可疑异常，此类的状态的任务越多，影响对账的风险就越高
落实技术方案
实践中验证效果
效果：刚上线时，仅对总订单和2个场景设置了预警。随着时间推移，逐渐增加到11个场景，效果显著。异常情况基本能在交易过程中提前被发现。要是操作出现失误，能提前通知相关方进行修正；倘若存在系统BUG，也能提前进行紧急修复，后续再推进根治和架构升级。虽然随着时间的发展，对账异常范围无法做到百分百覆盖，但容易出错的关键要点已经得到有效把控。近几个月，偶尔才会出现几单（由历史用户的存量异常订单导致），对账工作得到了切实有效的保障。
经典案例，2023年春节期间，通过预警发现几个异常订单出现，通过排查，是因为基金公司下发可赎回时间为非交易时间引起，涉及16个TA，4000多条记录，假如没提前发现，节后可能会引发批量的异常订单和客诉，形成事故，通过发现处理，规避了发生。
总结
通过这个预警系统，我们能够提前发现并主动处理对账事后异常，其技术难度并不高， 更多的讲究的是一个方法。对此方法起了一个名字叫"先知预警"，也希望此理论能对您的系统有所帮助。例如实战中，今年618的拉新活动渠道的监控，10分钟如果没产生订单就进行电话预警；基金停售提前3天邮件电话预警，都可以用此理论解释。
先知预警：是一种基于时间序列分析和业务理解的预测方法，它通过分析历史数据和理解业务，预测未来可能出现的关键点和变化趋势，并及时进行预警和调整，以确保业务的稳定运行。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
Mountain Duck 是一款能将多个网盘挂载到本地的工具，像本地磁盘一样使用网盘。清理链路的完整性会更好一些，做应用卸载、残留处理和空间整理时，通常能少走很多手动排查步骤。
Photoshop 2026 是 Adobe 推出的专业图像处理与视觉设计软件，支持 Windows、macOS 和 iPad 等平台，广泛应用于摄影修图、电商设计、平面海报、数字绘画及视觉合成等创作场景。
Blender 是一款免费开源、跨平台的专业 3D 创作软件，集建模、动画、渲染、视频编辑与视觉合成等功能于一体，广泛应用于影视动画、游戏设计和建筑可视化等领域。软件支持 Cycles 物理渲染器与 Eevee 实时渲染引擎，并提供多边形建模、骨骼绑定、物理模拟等专业工具。Blender 兼容 Windows、macOS 和 Linux 系统，安装包轻巧、运行流畅，依托活跃的全球开发者社区持续更新，是从初学者到专业创作者都值得选择的正版 3D 创作工具。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
一款文字处理软件，一种订阅式的跨平台办公软件，基于云平台提供多种服务，通过将 Excel 和 Outlook 等应用与 OneDrive 和 Microsoft Teams 等强大的云服务相结合，Office 365 可让任何人使用任何设备随时随地创建和共享内容。
Wise Folder Hider Pro 是一款专业级文件和文件夹隐藏加密软件，为私密数据添加多重保护。高频操作更强调就近处理，浏览、整理和跨目录移动文件时，来回切换和重复点击都会少很多。
CodeExpander 是一款快捷短语输入增强工具，通过键入缩写自动展开为自定义文段，提升工作效率。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。