intel/openfl

OpenFL - 开源联邦学习框架

镜像概述和主要用途

OpenFL是一个基于Python 3的联邦学习框架，由Intel物联网集团（IOTG）和Intel实验室开发。该框架设计目标是为数据科学家提供灵活、可扩展且易于学习的工具，支持在不共享敏感数据（如患者记录、***数据或机密信息）的前提下进行分布式机器学习协作。联邦学习中仅需在联邦节点间传输模型参数及其更新，最大限度减少数据移动。

核心功能和特性

灵活的工作流支持

• 基于Director的工作流（推荐）：创建的联邦可持续分发多个系列实验
• 基于Aggregator的工作流：实验结束后联邦终止

深度学习框架兼容性

• 支持TensorFlow 2+和PyTorch 1.3+（需单独安装）
• 可扩展以支持其他深度学习框架

多样化聚合算法

跨领域适用性

设计与具体用例、行业及机器学习框架无关，可广泛应用于各类场景。

使用场景和适用范围

• 领域：如影像分析（如FeTS平台），保护患者隐私数据
• ***领域：协作训练风控模型，不共享客户敏感信息
• 政务数据：跨部门协作建模，避免数据集中存储风险
• 任何需要保护数据隐私的分布式机器学习场景

使用方法和配置说明

Docker镜像获取

从DockerHub拉取官方镜像：

bash
docker pull docker.xuanyuan.run/intel/openfl

基础使用示例

启动交互式容器：

bash
docker run -it --rm docker.xuanyuan.run/intel/openfl bash

联邦学习实验流程

1. 初始化联邦工作空间

bash
fx init my_federation
cd my_federation

2. 基于Director的工作流（推荐）

启动Director节点（管理联邦生命周期）：

bash
fx director start

启动Aggregator节点（在新终端）：

bash
fx aggregator start -d config/director.yaml

启动Collaborator节点（在新终端，可启动多个）：

bash
fx collaborator start -d config/director.yaml -n collaborator-1

3. 基于Aggregator的工作流

直接启动实验，实验结束后联邦终止：

bash
fx experiment start -c config/experiment.yaml

配置说明

OpenFL使用YAML配置文件管理联邦参数，主要配置文件包括：

• director.yaml：Director节点配置（地址、端口、安全设置等）
• aggregator.yaml：Aggregator节点配置（聚合算法、训练参数等）
• collaborator.yaml：参与方配置（数据路径、计算资源等）

详细配置选项可参考https://openfl.readthedocs.io/en/latest/running_the_federation.html%E3%80%82

系统要求

• 基础环境：Ubuntu 16.04或18.04
• Python版本：3.6+
• 深度学习框架：TensorFlow 2+或PyTorch 1.3+（需在容器内单独安装）

支持与资源

• GitHub Issues：https://github.com/intel/openfl/issues
• Slack工作区：[***]
• 官方文档：https://openfl.readthedocs.io/en/latest/
• 教程：https://github.com/intel/openfl/tree/develop/openfl-tutorials

许可证

Apache License Version 2.0

引用

@misc{reina2021openfl,
      title={OpenFL: An open-source framework for Federated Learning}, 
      author={G Anthony Reina and Alexey Gruzdev and Patrick Foley and Olga Perepelkina and Mansi Sharma and Igor Davidyuk and Ilya Trushkin and Maksim Radionov and Aleksandr Mokrov and Dmitry Agapov and Jason Martin and Brandon Edwards and Micah J. Sheller and Sarthak Pati and Prakash Narayana Moorthy and Shih-han Wang and Prashant Shah and Spyridon Bakas},
      year={2021},
      eprint={2105.06413},
      archivePrefix={arXiv},
      primaryClass={cs.LG}
}