Frequent parameter exchanges between clients and the edge server incur substantial communication overhead, posing a critical bottleneck in federated learning (FL). By exploiting the superposition property of wireless waveforms, over-the-air (OTA) computation enables simultaneous analog aggregation of local updates, thereby reducing communication latency and improving spectrum efficiency. However, its scalability is constrained by the limited number of available orthogonal waveform resources, which are typically far fewer than the model dimension. To address this, we propose AgeTop-$k$, an age-aware gradient sparsification strategy that performs compression through a two-stage selection process. Specifically, the edge server first selects candidate gradient entries based on their magnitudes, and then further prioritizes them according to the Age of Information (AoI), which quantifies the staleness of updates. AoI tracking is achieved efficiently by maintaining an age vector at the edge server. We derive theoretical convergence guarantees for non-convex loss functions and demonstrate the efficacy of AgeTop-$k$ through extensive simulations.


翻译:客户端与边缘服务器之间频繁的参数交换会产生巨大的通信开销,成为联邦学习(FL)的关键瓶颈。通过利用无线波形的叠加特性,空中(OTA)计算能够实现本地更新的模拟聚合,从而降低通信延迟并提高频谱效率。然而,其可扩展性受到可用正交波形资源数量的限制,这些资源通常远少于模型维度。为解决这一问题,我们提出了AgeTop-$k$,一种年龄感知的梯度稀疏化策略,通过两阶段选择过程进行压缩。具体而言,边缘服务器首先根据梯度幅值选择候选梯度条目,然后进一步依据信息年龄(AoI)对其进行优先级排序,AoI用于量化更新的陈旧程度。AoI跟踪通过在边缘服务器维护一个年龄向量高效实现。我们为非凸损失函数推导了理论收敛保证,并通过大量仿真验证了AgeTop-$k$的有效性。

0
下载
关闭预览

相关内容

梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。
【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
44+阅读 · 2022年1月6日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员