FATE v1.10重磅更新：开发更易用，指令集加速集成
题图摄于广州花城广场在《2022中国开源发展白皮书》中，中国开源软件推进联盟指出，开源框架是降低企业技术研发成本、打破“计算孤岛”、实现跨平台互联互通、推动数据要素流通的重要途径。FATE（FederatedAITechnologyEnabler）作为全球首个联邦学习工业级开源框架，提供了一种基于数据隐私保护的安全计算框架，支持机器学习、深度学习和迁移学习算法的安全计算。今年8月，FATE作为最新孵化级项目加入了LFAI&Data基金会，与其他项目一起推动人工智能和数据开源项目的可持续
题图摄于广州花城广场
在《2022中国开源发展白皮书》中，中国开源软件推进联盟指出，开源框架是降低企业技术研发成本、打破“计算孤岛”、实现跨平台互联互通、推动数据要素流通的重要途径。FATE（Federated AI Technology Enabler）作为全球首个联邦学习工业级开源框架，提供了一种基于数据隐私保护的安全计算框架，支持机器学习、深度学习和迁移学习算法的安全计算。
今年8月，FATE作为最新孵化级项目加入了LF AI & Data基金会，与其他项目一起推动人工智能和数据开源项目的可持续生态建设。根据LF AI & Data的数据，自2019年以来，FATE开源项目的贡献者增加了377%，总提交数量增长了494.92%。
截至2022年底，FATE开源社区已覆盖全球超过1200家知名企业和400家高校，GitHub上Stars数量达4700，Fork数量达1400，成为联邦学习领域最大的技术开源社区。
FATE及社区的高速发展，得益于“开源开放、共力创新”的愿景，在开发专委会的协调下，4000多名开发者群策群力，各成员单位共同建设。
FATE开源项目已迭代30余个版本，联邦算法组件发展至30余个，实现了工业场景算法与主流安全计算协议的全覆盖，其先发优势、技术积累及应用广度获得产学研用的实际验证和一致认可。近日，FATE / KubeFATE v1.10版本正式发布，这是2022年的第三次升级迭代。用户可通过以下网址获取v1.10的发布版：
FATE: https://github.com/FederatedAI/FATE/releases/tag/v1.10.0
KubeFATE: https://github.com/FederatedAI/KubeFATE/releases/tag/v1.10.0
与此同时，FATE 2.0版本将顺应开源开放的趋势，推进隐私平台互联互通的能力，提供灵活集成和标准接口的能力，促进异构平台实现互操作性。FATE 2.0 Alpha版本计划于2023年1月推出，正式版预计在2023年第二季度发布，欢迎用户使用和在互联互通方面的合作。有兴趣的用户和开发者可参加FATE开发专委会定期的社区例会，参与相关功能的讨论和实施工作。
1
FATE v1.10版本亮点概述
FATE v1.10版本的发布，显著提升了开发易用性，并集成了硬件指令集加速。整体上，FATE在功能、性能、生产完备性、互联互通等多方面得到了完善和提升。其亮点包括以下四点：
重构了横向和纵向神经网络联邦框架，支持用户自定义神经网络和数据集，降低了深度学习算法接入联邦机制的开发成本；集成了英特尔IPCL Paillier加密库，支持英特尔处理器的最新AVX512/IFMA指令集加速；新增了联邦半监督学习PU-Learning算法；KubeFATE增加了对FATE-Flow的依赖分发和高可用等功能的支持。
2
各模块新版本特色功能一览
此次发布的FATE v1.10版本，对FATE进行了全面升级，开发易用性显著提升，硬件指令集加速集成。此外，新版本对FederatedML、KubeFATE、Fate-Flow、Fate-Board等多个模块进行了更新和改进，各模块的改进点如下：
FederatedML
?横向神经网络基于Pytorch进行了全面升级与重构，支持灵活的模型定制：
支持对复杂训练模型的定制，可直接使用业界主流的pytorch模型，如DeepFM、ResNet、BERT、yolo等；支持多种数据集，可基于pytorch Dataset进行数据集定制化；支持对训练Loss的自定义；支持对整个训练流程的定制化：用户可自行开发client端流程代码与server端聚合逻辑；提供接口支持Aggregator的开发。
?纵向联邦神经网络升级，支持定制化模型以及使用多类型数据集：
支持对top, bottom模型更复杂的定制化需求，可直接使用各类pytorch模型；支持对训练Loss的自定义；支持多种数据集，可基于pytorch Dataset进行数据集定制化。
?横向联邦框架重构升级，适配横向所有算法，更易于开发和定制化算法。
?新增联邦半监督学习PU-Learning算法。
?集成了Intel IPCL同态加密加速库，支持在纵向联邦逻辑回归以及纵向联邦SecureBoost上使用。
?支持基于椭圆曲线的多方安全求交方案。
?支持多方安全计算交集基数的方案。
?纵向联邦特征分箱支持展示最优分箱gini、ks、卡方指标。
?纵向联邦特征分箱支持host方通过model loader加载自定义WOE分箱模型。
?纵向联邦特征分箱支持通过参数配置指定分箱点。
?采样组件支持指定列权重进行采样。
KubeFATE
?支持FATE v1.10.0，FATE-Serving v2.1.6的安装部署。
?支持为FATE-Flow启用依赖分发（dependent_distribution）功能，以更好地适配外部Spark集群。
?支持为部署的Jupyter Notebook设置访问密码以增强安全性。
?更好的支持管理由KubeFATE部署的StatefulSet资源。
?添加更灵活的配置选项以更好的支持和引入外部Pulsar引擎支持。
?支持FATE-Flow的高可用模式。
?解决了定义储存时existingClaim在nodemanager组件上可能失效的问题。
?解决了若干其他已知Bug。
FATE-Flow
?新增连通性检测接口。
?grpc传输数据量限制可配置化。
?修复model deploy按需复制组件问题。
FATE-Board
?sbt树状图叶子节点分流数据展示。
?sample组件新模式数据展示支持。
?新增半监督学习组件展示支持。
?binning组件最优分箱表格数据展示优化。
?针对模型数据请求进行优化过滤。
?样式库优化调整。
?日志展示高度适配优化。
FATE-Client
?flow cli集成最小化测试用例。
?pipeline支持data bind接口，方便用户本地开发调试。
?pipeline支持预测任务重设role和model_id\model_version参数，支持集群party_id变更后的预测使用场景。
FedLCM
根据社区的反馈，v0.2版本的FedLCM中新增了多个重大功能。其中，图形化建模与管理服务Site Portal从这个版本开始可以单独通过docker-compose部署和运行，不再仅能通过Lifecycle Manager来在Kubernetes上部署，并且在v0.2版本中加入了纵向联邦学习的支持。另一方面，生命周期管理服务Lifecycle Manager中对Site Portal的支持进一步增强，同时缩减了操作Kubernetes所需的权限要求，使用典型的仅Namespace的操作权限即可部署KubeFATE和FATE。除此之外，v0.2版本的FedLCM还包括了如下的更新，来进一步方便用户以图形化的方式部署FATE系统和FATE联邦任务，欢迎社区用户使用并提供进一步的反馈。
Lifecycle Manager服务新增了如下功能：
?支持部署1.9版本的KubeFATE、FATE和FATE Exchange；
?自动配置由其部署的Site Portal服务与FML Manager服务的TLS链接；
?支持使用某个或某几个namspace的管理权限来操作Kubernetes；
?在部署FATE系统时可以指定使用外部已存在的基础引擎服务；
?当FedLCM本身运行在Kubernetes上时，不用显示指定kubeconfig即可管理当前集群。
Site Portal服务新增了如下功能：
?Site Portal可以直接通过docker-compose单独部署使用，而不需要必须通过LCM服务部署；
?可以与使用Spark或Eggroll等不同基础引擎的FATE系统集成；
?可使用纵向联邦学习的HeteroLR和HeteroSBT来发起训练任务和预测任务；
?可以纳管已存在于FATE系统的存储引擎Table；
?支持将Site Portal从FML Manager和整个联邦中注销。
欢迎更多的用户和开发者加入FATE开源社区，开源社区的精神在于协作与共赢，社区成员不仅能够获得项目发展带来的成果，也可以通过参与项目贡献回馈社区，形成良性循环，推动整个社区的健康发展。
3
参与FATE开源社区
FATE开源社区是一个开放、平等、包容的学习社区，在这里你不仅可以从众多贡献者处获得技术帮助，还可以通过技术贡献的方式丰富社区资源并帮助其他用户。FATE开源社区欢迎更多开发者和用户加入社区建设并提出反馈意见！
建议关注FATE开源社区的公众号，并加入开源社区用户组：
https://groups.io/g/Fate-FedAI
Github：
https://github.com/FederatedAI/FATE
公众号：
FATE开源社区
开源社区用户组：
Fate-FedAI @groups.io
开源社区维护者：
FedAI-maintainers @groups.io
开发专委会：
fate-dev-core @groups.io
运营专委会：
FATE-operation @groups.io
安全专委会：
FATE-security @groups.io
欢迎加入FATE联邦学习官方交流群，添加FATE小助手微信号（FATEZS001）即可。
【github直达】：阅读原文或复制链接https://github.com/FederatedAI/FATE即可，点击star，方便下次使用。
Postman是一套面向API全生命周期的开发与测试平台，可在Mac上发送和调试多种协议请求，管理集合、环境及认证信息，并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用，提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境，集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境，基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
Xcode 是苹果面向 Mac 提供的官方集成开发环境，将代码编辑、项目构建、SwiftUI 实时预览、设备模拟、自动化测试、断点调试、性能分析和应用分发整合在同一套工作流中，适合开发与维护 iPhone、iPad、Mac、Apple Wa
JetBrains WebStorm 是面向 JavaScript、TypeScript 和现代 Web 技术的专业集成开发环境，可智能理解项目结构，提供代码补全、重构、错误检查、运行调试、测试及 Git 工具。
PhpStorm 是 JetBrains 推出的专业 PHP 集成开发环境，可在 Mac 上完成代码编写、智能检查、重构、调试、测试和数据库管理。它支持主流 PHP 框架、Composer、Git、Docker 与远程解释器。
JetBrains PyCharm 是面向 Python 开发者的集成开发环境，提供智能补全、代码检查、重构、调试、测试、版本控制及虚拟环境管理功能。Mac 版兼容 Intel 与 Apple 芯片，核心功能可免费使用。
IntelliJ IDEA 是 JetBrains 推出的专业集成开发环境，重点服务于 Java、Kotlin 与 JVM 项目开发。软件集成代码补全、静态检查、重构、调试、测试、版本控制及构建工具，并可借助插件扩展语言和框架支持。
Visual Studio Code 是微软提供的免费代码编辑器，支持 macOS，并为 Intel 与 Apple 芯片 Mac 提供适配版本。软件集代码编辑、调试、Git 源代码管理、集成终端和扩展市场于一体。
REAPER是Cockos开发的数字音频工作站，提供多轨音频与MIDI录制、剪辑、处理、混音和母带制作工具。Mac版兼容Intel与Apple芯片，支持AU、VST、VST3、CLAP等插件格式，并提供高度可定制的工作流程。
Adobe Audition 是面向播客、影视后期、音乐制作及内容创作者的专业音频工作站，提供波形精修、多轨录制与混音、频谱编辑、降噪修复、响度匹配和效果处理工具，并可与 Adobe Premiere 协同完成视频声音制作。
Pro Tools 是 Avid 推出的专业数字音频工作站，覆盖多轨录音、无损剪辑、MIDI 编曲、插件处理、自动化混音及声音与画面同步等工作。它拥有 Intro、Artist、Studio 和 Ultimate 等方案。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台，提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求，并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境，内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件，可在本机完成镜像构建、容器运行、日志查看和资源管理。
Android Studio 是 Google 面向 Android 应用开发提供的官方集成开发环境，以 IntelliJ IDEA 为基础，集成智能代码编辑、Gradle 构建、设备模拟、界面预览、调试测试及性能分析工具，
WebStorm 是 JetBrains 面向 JavaScript、TypeScript 和现代 Web 技术打造的集成开发环境。它提供项目级代码分析、智能补全、安全重构、导航搜索，并集成调试、测试、终端、Git 与常用前端工具，
PhpStorm 是 JetBrains 面向 PHP 与现代 Web 开发打造的专业集成开发环境，提供代码补全、静态检查、重构、调试、测试、数据库、版本控制及前端语言支持。Windows 用户可直接下载安装程序，
PyCharm 是 JetBrains 推出的 Python 集成开发环境，提供智能代码补全、错误检查、重构、调试、测试、Git、终端及 Jupyter Notebook 支持。统一版安装后可体验 30 天 Pro 功能，
JetBrains IntelliJ IDEA 是以 Java、Kotlin 和 JVM 项目为核心的专业集成开发环境，提供智能补全、代码检查、安全重构、调试、测试、版本控制及构建工具集成。统一发行版的核心功能可免费用于商业和非商业项目，
Visual Studio Code 是微软推出的免费代码编辑器，Windows 版集成智能补全、代码导航、调试、终端和版本控制，并可通过扩展添加语言、格式化及远程开发能力。它启动较快、配置灵活，
REAPER 是 Cockos 推出的数字音频工作站，适用于录音、MIDI 编曲、音频编辑、混音、母带制作及声音设计。软件安装包小巧，支持多轨录制、灵活路由、自动化、第三方插件和脚本扩展，并提供完整功能的 60 天免费评估期。
Adobe Audition 是面向播客、影视后期、广播与音乐制作的专业音频工作站，提供波形编辑、多轨混音、频谱分析、录音、降噪修复和效果处理等功能。Windows 版通过 Adobe Creative Cloud 安装和管理，
Pro Tools 是 Avid 推出的专业数字音频工作站，提供多轨录音、音频剪辑、MIDI编曲、插件处理、自动化混音及影视声音制作能力。它适合音乐人、录音师、制作人和音频后期团队使用，并提供免费入门版、订阅方案及永久授权选择。