【ICML2021】满足隐私保护要求的去中心化无监督域适应范式

传统的无监督多源域适应（Domain Adaptation）方法假设所有源域都可以直接访问。然而，该假设忽略了隐私保护政策，即所有数据和计算都必须在本地进行。在隐私保护要求下进行域适应存在三个挑战：首先，最小化域间距离需获取源域和目标域的数据并进行成对计算，而源域数据本地存储，不可访问。其次，通信成本和隐私安全限制了现有域适应方法的应用，例如域对抗训练。最后，由于无法鉴别源域数据质量，更易出现不相关或恶意的源域，从而导致负迁移。为解决上述问题，我们提出一种满足隐私保护要求的去中心化无监督域适应范式，称为基于知识蒸馏的去中心化域适应（KD3A），通过对来自多个源域的模型进行知识蒸馏来进行知识迁移。大量实验表明，KD3A显著优于其他前沿域适应方法。此外，与其他去中心化的域适应方法相比，KD3A 对负迁移具有鲁棒性，并可将通信成本降低100倍。

https://www.zhuanzhi.ai/paper/beaaa180592138335a9921f38b2a06d5