FATE v1.10重磅更新：开发更易用，指令集加速集成
题图摄于广州花城广场在《2022中国开源发展白皮书》中，中国开源软件推进联盟指出，开源框架是降低企业技术研发成本、打破“计算孤岛”、实现跨平台互联互通、推动数据要素流通的重要途径。FATE（FederatedAITechnologyEnabler）作为全球首个联邦学习工业级开源框架，提供了一种基于数据隐私保护的安全计算框架，支持机器学习、深度学习和迁移学习算法的安全计算。今年8月，FATE作为最新孵化级项目加入了LFAI&Data基金会，与其他项目一起推动人工智能和数据开源项目的可持续
题图摄于广州花城广场
在《2022中国开源发展白皮书》中，中国开源软件推进联盟指出，开源框架是降低企业技术研发成本、打破“计算孤岛”、实现跨平台互联互通、推动数据要素流通的重要途径。FATE（Federated AI Technology Enabler）作为全球首个联邦学习工业级开源框架，提供了一种基于数据隐私保护的安全计算框架，支持机器学习、深度学习和迁移学习算法的安全计算。
今年8月，FATE作为最新孵化级项目加入了LF AI & Data基金会，与其他项目一起推动人工智能和数据开源项目的可持续生态建设。根据LF AI & Data的数据，自2019年以来，FATE开源项目的贡献者增加了377%，总提交数量增长了494.92%。
截至2022年底，FATE开源社区已覆盖全球超过1200家知名企业和400家高校，GitHub上Stars数量达4700，Fork数量达1400，成为联邦学习领域最大的技术开源社区。
FATE及社区的高速发展，得益于“开源开放、共力创新”的愿景，在开发专委会的协调下，4000多名开发者群策群力，各成员单位共同建设。
FATE开源项目已迭代30余个版本，联邦算法组件发展至30余个，实现了工业场景算法与主流安全计算协议的全覆盖，其先发优势、技术积累及应用广度获得产学研用的实际验证和一致认可。近日，FATE / KubeFATE v1.10版本正式发布，这是2022年的第三次升级迭代。用户可通过以下网址获取v1.10的发布版：
FATE: https://github.com/FederatedAI/FATE/releases/tag/v1.10.0
KubeFATE: https://github.com/FederatedAI/KubeFATE/releases/tag/v1.10.0
与此同时，FATE 2.0版本将顺应开源开放的趋势，推进隐私平台互联互通的能力，提供灵活集成和标准接口的能力，促进异构平台实现互操作性。FATE 2.0 Alpha版本计划于2023年1月推出，正式版预计在2023年第二季度发布，欢迎用户使用和在互联互通方面的合作。有兴趣的用户和开发者可参加FATE开发专委会定期的社区例会，参与相关功能的讨论和实施工作。
1
FATE v1.10版本亮点概述
FATE v1.10版本的发布，显著提升了开发易用性，并集成了硬件指令集加速。整体上，FATE在功能、性能、生产完备性、互联互通等多方面得到了完善和提升。其亮点包括以下四点：
重构了横向和纵向神经网络联邦框架，支持用户自定义神经网络和数据集，降低了深度学习算法接入联邦机制的开发成本；集成了英特尔IPCL Paillier加密库，支持英特尔处理器的最新AVX512/IFMA指令集加速；新增了联邦半监督学习PU-Learning算法；KubeFATE增加了对FATE-Flow的依赖分发和高可用等功能的支持。
2
各模块新版本特色功能一览
此次发布的FATE v1.10版本，对FATE进行了全面升级，开发易用性显著提升，硬件指令集加速集成。此外，新版本对FederatedML、KubeFATE、Fate-Flow、Fate-Board等多个模块进行了更新和改进，各模块的改进点如下：
FederatedML
?横向神经网络基于Pytorch进行了全面升级与重构，支持灵活的模型定制：
支持对复杂训练模型的定制，可直接使用业界主流的pytorch模型，如DeepFM、ResNet、BERT、yolo等；支持多种数据集，可基于pytorch Dataset进行数据集定制化；支持对训练Loss的自定义；支持对整个训练流程的定制化：用户可自行开发client端流程代码与server端聚合逻辑；提供接口支持Aggregator的开发。
?纵向联邦神经网络升级，支持定制化模型以及使用多类型数据集：
支持对top, bottom模型更复杂的定制化需求，可直接使用各类pytorch模型；支持对训练Loss的自定义；支持多种数据集，可基于pytorch Dataset进行数据集定制化。
?横向联邦框架重构升级，适配横向所有算法，更易于开发和定制化算法。
?新增联邦半监督学习PU-Learning算法。
?集成了Intel IPCL同态加密加速库，支持在纵向联邦逻辑回归以及纵向联邦SecureBoost上使用。
?支持基于椭圆曲线的多方安全求交方案。
?支持多方安全计算交集基数的方案。
?纵向联邦特征分箱支持展示最优分箱gini、ks、卡方指标。
?纵向联邦特征分箱支持host方通过model loader加载自定义WOE分箱模型。
?纵向联邦特征分箱支持通过参数配置指定分箱点。
?采样组件支持指定列权重进行采样。
KubeFATE
?支持FATE v1.10.0，FATE-Serving v2.1.6的安装部署。
?支持为FATE-Flow启用依赖分发（dependent_distribution）功能，以更好地适配外部Spark集群。
?支持为部署的Jupyter Notebook设置访问密码以增强安全性。
?更好的支持管理由KubeFATE部署的StatefulSet资源。
?添加更灵活的配置选项以更好的支持和引入外部Pulsar引擎支持。
?支持FATE-Flow的高可用模式。
?解决了定义储存时existingClaim在nodemanager组件上可能失效的问题。
?解决了若干其他已知Bug。
FATE-Flow
?新增连通性检测接口。
?grpc传输数据量限制可配置化。
?修复model deploy按需复制组件问题。
FATE-Board
?sbt树状图叶子节点分流数据展示。
?sample组件新模式数据展示支持。
?新增半监督学习组件展示支持。
?binning组件最优分箱表格数据展示优化。
?针对模型数据请求进行优化过滤。
?样式库优化调整。
?日志展示高度适配优化。
FATE-Client
?flow cli集成最小化测试用例。
?pipeline支持data bind接口，方便用户本地开发调试。
?pipeline支持预测任务重设role和model_id\model_version参数，支持集群party_id变更后的预测使用场景。
FedLCM
根据社区的反馈，v0.2版本的FedLCM中新增了多个重大功能。其中，图形化建模与管理服务Site Portal从这个版本开始可以单独通过docker-compose部署和运行，不再仅能通过Lifecycle Manager来在Kubernetes上部署，并且在v0.2版本中加入了纵向联邦学习的支持。另一方面，生命周期管理服务Lifecycle Manager中对Site Portal的支持进一步增强，同时缩减了操作Kubernetes所需的权限要求，使用典型的仅Namespace的操作权限即可部署KubeFATE和FATE。除此之外，v0.2版本的FedLCM还包括了如下的更新，来进一步方便用户以图形化的方式部署FATE系统和FATE联邦任务，欢迎社区用户使用并提供进一步的反馈。
Lifecycle Manager服务新增了如下功能：
?支持部署1.9版本的KubeFATE、FATE和FATE Exchange；
?自动配置由其部署的Site Portal服务与FML Manager服务的TLS链接；
?支持使用某个或某几个namspace的管理权限来操作Kubernetes；
?在部署FATE系统时可以指定使用外部已存在的基础引擎服务；
?当FedLCM本身运行在Kubernetes上时，不用显示指定kubeconfig即可管理当前集群。
Site Portal服务新增了如下功能：
?Site Portal可以直接通过docker-compose单独部署使用，而不需要必须通过LCM服务部署；
?可以与使用Spark或Eggroll等不同基础引擎的FATE系统集成；
?可使用纵向联邦学习的HeteroLR和HeteroSBT来发起训练任务和预测任务；
?可以纳管已存在于FATE系统的存储引擎Table；
?支持将Site Portal从FML Manager和整个联邦中注销。
欢迎更多的用户和开发者加入FATE开源社区，开源社区的精神在于协作与共赢，社区成员不仅能够获得项目发展带来的成果，也可以通过参与项目贡献回馈社区，形成良性循环，推动整个社区的健康发展。
3
参与FATE开源社区
FATE开源社区是一个开放、平等、包容的学习社区，在这里你不仅可以从众多贡献者处获得技术帮助，还可以通过技术贡献的方式丰富社区资源并帮助其他用户。FATE开源社区欢迎更多开发者和用户加入社区建设并提出反馈意见！
建议关注FATE开源社区的公众号，并加入开源社区用户组：
https://groups.io/g/Fate-FedAI
Github：
https://github.com/FederatedAI/FATE
公众号：
FATE开源社区
开源社区用户组：
Fate-FedAI @groups.io
开源社区维护者：
FedAI-maintainers @groups.io
开发专委会：
fate-dev-core @groups.io
运营专委会：
FATE-operation @groups.io
安全专委会：
FATE-security @groups.io
欢迎加入FATE联邦学习官方交流群，添加FATE小助手微信号（FATEZS001）即可。
【github直达】：阅读原文或复制链接https://github.com/FederatedAI/FATE即可，点击star，方便下次使用。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
AirBuddy 3 是面向 macOS 的蓝牙外设增强工具，可集中查看 AirPods、Beats 与苹果设备电量，提供快速连接、播放控制、电量提醒、桌面小组件和多台 Mac 外设接力等功能。
AirServer macOS版可把 Mac 转换为无线投屏接收端，通过 AirPlay 或 Google Cast 接收手机、平板和电脑画面，并支持多设备同时连接、高清镜像及会话录制，适合家庭娱乐、课堂教学、会议演示和应用展示。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台，提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具，适合短剧、漫剧、广告及社交媒体内容制作。
Autodesk Maya 是面向影视、电视、动画和游戏行业的专业三维制作软件，集多边形与 NURBS 建模、角色绑定、关键帧和动作捕捉动画、Bifrost 特效模拟、材质开发及 Arnold 渲染于一体，