FedEval: A Benchmark System with a Comprehensive Evaluation Model for Federated Learning

FedEval: A Benchmark System with a Comprehensive Evaluation Model for Federated Learning abstract。

解决的问题

因为评估矩阵的不一致和缺乏通用的平台，联邦学习领域的评估结果缺乏完整性，并且很难作比较。
因此提出针对联邦学习的综合评估框架。

Introduction

文章提出了 ACTPR 模型来对联邦学习进行系统的评估，这五个方面分别是：

• accuracy
• communication
• time consumption
• privacy
• robustness

当然，现有的研究已经在各个方面给出了不同的评估矩阵：

Architecture

联邦学习框架

Homepages of existing federated learning frameworks

TFF: https://www.tensorflow.org/federated
FATE: https://github.com/FederatedAI/FATE
PaddleFL: https://github.com/PaddlePaddle/PaddleFL
LEAF: https://github.com/TalwalkarLab/leaf
PySyft: https://github.com/OpenMined/PySyft
FedML: https://github.com/FedML-AI/FedML