背景:实际应用中,由于数据采集和传输过程的复杂性,数据可能会丢失部分视图,这就导致了信息不完备下的视图缺失问题(Incomplete Multi-view Problem, IMP)。例如在线会议中,一些视频帧可能由于传感器故障而丢失了视觉或音频信号。针对该问题,过去十多年已提出了一些不完全多视图聚类方法(Incomplete Multi-view Clustering, IMC)并取得了显著效果。但IMP仍面临两个主要挑战:1)如何在不利用标签信息的情况下学习一致的多视图公共表示;2)如何从部分缺失的数据中还原完整的数据。

http://pengxi.me/wp-content/uploads/2021/03/2021CVPR-completer.pdf

创新:针对上述挑战,受近期Tsai等在ICLR2021上发表的工作所启发,本文提供了一个新的不完全多视图聚类见解,即不完全多视图聚类中的数据恢复和一致性学习是一体两面的,两者可统一到信息论的框架中。这样的观察和理论结果与现有的将一致性学习和数据恢复视为两个独立问题的工作有很大的不同。简要地,从信息论角度出发,互信息能用于量化跨视图表示间的一致性,而条件熵可用于量化跨视图的可恢复性。因此,一方面,最大化互信息与最小化条件熵将分别增加共享的信息量与数据的可恢复性。另一方面,同时最大化互信息与最小化条件熵两个目标又互为补充,相互促进。与Tsai等人的工作的不同之处在于,他们主要是在信息论框架下利用预测学习改进对比学习的性能,没有如本文一样考虑到缺失视图下的一致性和可恢复性的学习。

方法:基于上述观察,论文提出了对偶预测范式并将其与对比学习结合,通过一个新的损失函数实现了跨视图一致性与可恢复性的联合优化。提出的损失函数包括三部分:1)视图内重构损失,主要用于学习各个视图数据的视图特殊表示,由一系列独自的自编码器重构损失组成;2)跨视图对比学习损失,通过最大化不同视图间的互信息学习多视图一致性;3)跨视图对偶预测损失,通过最小化视图表示的条件熵进而实现视图数据恢复。

成为VIP会员查看完整内容
21

相关内容

通过潜在空间的对比损失最大限度地提高相同数据样本的不同扩充视图之间的一致性来学习表示。对比式自监督学习技术是一类很有前途的方法,它通过学习编码来构建表征,编码使两个事物相似或不同
专知会员服务
42+阅读 · 2021年4月18日
专知会员服务
58+阅读 · 2021年3月25日
专知会员服务
19+阅读 · 2021年3月18日
【CVPR2021】基于反事实推断的视觉问答框架
专知会员服务
26+阅读 · 2021年3月4日
专知会员服务
43+阅读 · 2021年1月31日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
77+阅读 · 2020年6月11日
对比自监督学习
深度学习自然语言处理
34+阅读 · 2020年7月15日
论文浅尝 | 基于属性嵌入的知识图谱间实体对齐方法
开放知识图谱
30+阅读 · 2019年3月26日
【学界】基于生成对抗网络的多视图学习与重构算法
GAN生成式对抗网络
6+阅读 · 2018年7月12日
Arxiv
30+阅读 · 2021年3月29日
Arxiv
35+阅读 · 2021年1月27日
Disentangled Information Bottleneck
Arxiv
12+阅读 · 2020年12月22日
Arxiv
24+阅读 · 2020年3月11日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
VIP会员
相关VIP内容
专知会员服务
42+阅读 · 2021年4月18日
专知会员服务
58+阅读 · 2021年3月25日
专知会员服务
19+阅读 · 2021年3月18日
【CVPR2021】基于反事实推断的视觉问答框架
专知会员服务
26+阅读 · 2021年3月4日
专知会员服务
43+阅读 · 2021年1月31日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
77+阅读 · 2020年6月11日
相关论文
Arxiv
30+阅读 · 2021年3月29日
Arxiv
35+阅读 · 2021年1月27日
Disentangled Information Bottleneck
Arxiv
12+阅读 · 2020年12月22日
Arxiv
24+阅读 · 2020年3月11日
Talking-Heads Attention
Arxiv
15+阅读 · 2020年3月5日
A Modern Introduction to Online Learning
Arxiv
19+阅读 · 2019年12月31日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
微信扫码咨询专知VIP会员