基于经验风险最小化的机器学习算法由于贪心地利用训练数据之间的相关性,在分布位移下不稳定,因此泛化性能较差。近年来,利用多个训练环境来寻找非变量关系的非变量学习方法被提出用于非分布泛化(OOD)。然而,现代数据集通常是通过合并来自多个源的数据来组装的,而没有显式的源标签。由此产生的未观察到的异质性使得许多不变学习方法不适用。本文提出了异质风险最小化(HRM)框架,以实现数据之间的潜在异质性和不变关系的联合学习,从而在分布发生变化的情况下实现稳定的预测。我们从理论上描述了不变学习中环境标签的角色,并证明了我们新提出的HRM框架。大量的实验结果验证了我们的HRM的有效性。

https://arxiv.org/abs/2105.03818

成为VIP会员查看完整内容
14

相关内容

专知会员服务
51+阅读 · 2021年6月14日
专知会员服务
23+阅读 · 2021年6月8日
专知会员服务
28+阅读 · 2021年6月7日
专知会员服务
34+阅读 · 2021年5月29日
专知会员服务
79+阅读 · 2021年5月10日
专知会员服务
19+阅读 · 2021年3月28日
【WWW2021】少样本图学习分子性质预测
专知会员服务
35+阅读 · 2021年2月20日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
84+阅读 · 2020年9月6日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
14+阅读 · 2019年9月11日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
5+阅读 · 2018年1月30日
Arxiv
9+阅读 · 2018年1月4日
VIP会员
相关VIP内容
专知会员服务
51+阅读 · 2021年6月14日
专知会员服务
23+阅读 · 2021年6月8日
专知会员服务
28+阅读 · 2021年6月7日
专知会员服务
34+阅读 · 2021年5月29日
专知会员服务
79+阅读 · 2021年5月10日
专知会员服务
19+阅读 · 2021年3月28日
【WWW2021】少样本图学习分子性质预测
专知会员服务
35+阅读 · 2021年2月20日
最新《深度持续学习》综述论文,32页pdf
专知会员服务
84+阅读 · 2020年9月6日
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
14+阅读 · 2019年9月11日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
Arxiv
5+阅读 · 2018年1月30日
Arxiv
9+阅读 · 2018年1月4日
微信扫码咨询专知VIP会员