近日，陈铭松教授可信智能软件与系统（Mastlab-T3S）实验室本科生陈泽凯作为第一作者的论文《FlexFL: Heterogeneous Federated Learning via APoZ-Guided Flexible Pruning in Uncertain Scenarios》被IEEE/ACM软硬件协同设计与系统综合国际会议 (IEEE/ACM International Conference on Hardware/Software Co-Design and System Synthesis，简称CODES+ISSS)接收，并将在CCF-A类期刊IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems (TCAD)发表。
该论文其他合作者包括郏晨涛（学院2023级硕士生）、胡铭博士（新加坡管理大学，学院2019级博士）、谢肖飞教授（新加坡管理大学）、李安然博士（南洋理工大学）和陈铭松教授。
近年来，该实验室围绕可信联邦学习开展研究，在联邦学习算法、架构与系统方面取得了系列性成果，在DAC、RTSS、AAAI、ICDE、KDD、TCAD等权威会议与期刊上发表CCF A类论文10余篇。
陈泽凯
陈泽凯于2023年6月加入可信智能软件与系统课题组，师从陈铭松教授，聚焦异构联邦学习研究，2024年4月被软硬件协同设计技术与应用教育部工程研究中心聘请为研究助理。陈泽凯的论文是学院本科生首次作为第一作者在CCF A类期刊上发表的论文。
成果介绍
随着深度学习技术的普及，越来越多的人工智能物联网（AIoT）系统采用联邦学习（FL）来实现AIoT设备之间的隐私保护协作学习。由于AIoT系统中的设备资源受限，无法承载完整的模型，需要对模型进行裁剪以适配不同设备的资源。然而，现有方法很少考虑每个模型的特性以及在不同数据集上的神经元激活分布差异，大多数采用固定剪枝方法，忽略了不同模型架构的特殊性。此外，现有方法往往假设设备资源是固定的，这与AIoT场景的动态性质不符，无法充分应对现实环境中设备资源的变化。
FlexFL异构联邦学习框架与流程图
陈泽凯等人提出的FlexFL是首个在资源不确定性场景下使用APoZ剪枝策略来生成异构模型的FL方法。通过使用APoZ（Activation Percentage of Zeros，即神经元激活为零的百分比）分数和每层参数数量，FlexFL可以为本地训练生成多种不同的高性能的异构模型以适配设备的资源情况。为了应对资源不确定和受限的场景，FlexFL设计了自适应本地剪枝机制，使设备能够根据其可用资源自适应地剪枝接收到的模型。通过使用基于自我知识蒸馏的本地训练策略，FlexFL可以利用小模型的知识来增强大模型的训练效果，从而有效提升FL训练的性能。仿真和真实AIoT测试平台获得的实验结果表明，与目前世界上最先进的异构FL方法相比，FlexFL可以实现更好的推理性能。
关于CODES+ISSS会议与IEEE TCAD 期刊
CODES+ISSS会议是软硬件协同设计领域的顶级国际会议，是国际嵌入式大会Embedded Systems Week（ESWEEK）的重要组成部分。其研究范围涵盖嵌入式系统从高层系统级描述到底层软硬件实现优化的各个方面，主要包括设计空间探索、建模分析、软硬件协同设计优化等。IEEE TCAD期刊始于1982年，是中国计算机学会(CCF)推荐的A类国际顶级期刊。
