【导读】作为计算机视觉领域的三大国际顶会之一，IEEE国际计算机视觉与模式识别会议CVPR（IEEE Conference on Computer Vision and Pattern Recognition) 每年都会吸引全球领域众多专业人士参与。CVPR 2021已经在线举行， 今年的CVPR有效投稿多达7500篇，一共有1663篇论文被接收，接收率为27%。
CVPR2021 Paper List: https://openaccess.thecvf.com/CVPR2021?day=all
为此，专知小编为大家整理了五篇CVPR 2021零样本（Zero-Shot Learning）相关研究和应用，这块这几年一直比较受关注——零样本实例分割、开放域组合零样本学习、零样本对抗量化、广义零样本学习
CVPR2021CL、CVPR2021DA、CVPR2021IVC、CVPR2021PID、CVPR2021IC、CVPR2021VU、CVPR2021OD、CVPR2021OT、CVPR2021AR
1. Zero-Shot Instance Segmentation
作者：Ye Zheng, Jiahong Wu, Yongqiang Qin, Faen Zhang, Li Cui
摘要：通过利用丰富的标记数据，深度学习显着提高了实例分割的精度。但是，在医疗、制造业等很多领域，收集足够的数据是非常困难的，标记这些数据需要很高的专业技能。本文遵循这一动机并提出了一个名为零样本实例分割（ZSI）的新任务集。在 ZSI 的训练阶段，模型使用可见数据进行训练，而在测试阶段，它用于分割所有可见和不可见的实例。本文首先制定了 ZSI 任务并提出了一种应对挑战的方法，它由零样本检测器、语义掩码、背景感知 RPN 和同步背景策略组成。本文提出了一个基于 MS-COCO 数据集的零样本实例分割的新基准。该基准测试中大量的实验结果表明，本文的方法不仅在零样本目标检测任务中超越了最先进的结果，而且在 ZSI 上也取得了良好的性能。本文的方法将作为一个可靠的基线，并促进零样本实例分割的未来研究。
代码： https://github.com/zhengye1995/Zero-shot-Instance-Segmentation
2. Open World Compositional Zero-Shot Learning
作者：Massimiliano Mancini, Muhammad Ferjad Naeem, Yongqin Xian, Zeynep Akata
摘要：组合零样本学习 (CZSL) 需要识别训练期间看不见的状态对象组合。在这项工作中，本文不是假设关于看不见的组合的先验知识，而是在开放世界环境中操作，其中搜索空间包括大量未见过的组合，其中一些可能是不可行的。在这种情况下，本文从视觉特征和组合嵌入之间的余弦相似度开始。在估计每个组合的可行性分数后，本文使用这些分数直接屏蔽输出空间，或作为训练期间视觉特征和组合嵌入之间余弦相似度的边界。本文在两个标准 CZSL 基准上的实验表明，当应用于开放世界设置时，所有方法都会遭受严重的性能下降。虽然本文的简单 CZSL 模型在封闭世界场景中实现了最先进的性能，但本文估计的可行性分数提高了本文方法在开放世界环境中的性能，明显优于之前的最先进的方法。
代码： https://github.com/ExplainableML/czsl
3. Learning Graph Embeddings for Compositional Zero-shot Learning
作者：Muhammad Ferjad Naeem, Yongqin Xian, Federico Tombari, Zeynep Akata
摘要： 在组合零样本学习中，目标是识别训练集中观察到的视觉原始状态（例如老、可爱）和对象（例如汽车、狗）的看不见的组合（例如老狗）。因为相同的状态可以改变狗的视觉外观与汽车的就截然不同。本文提出了一种称为组合图嵌入 (CGE) 的新型图公式，它以端到端的方式学习图像特征、组合分类器和视觉基元的潜在表示，来试着解决这一问题。本文方法的关键是利用图结构中状态、对象及其组合之间的依赖关系，以强制相关知识从可见组合转移到不可见组合。通过学习对概念之间的语义进行编码的联合兼容性，本文的模型允许在不依赖 WordNet 等外部知识库的情况下，将看不见的组合泛化。本文表明，在具有挑战性的广义组合零样本设置中，本文的 CGE 显着优于 MIT-States 和 UT-Zappos 的最新技术。本文还基于最近的 GQA 数据集为此任务提出了一个新的基准。
代码： https://github.com/ExplainableML/czsl
4. Zero-shot Adversarial Quantization
作者：Yuang Liu, Wei Zhang, Jun Wang
摘要：模型量化是压缩深度神经网络和加速推理的一种很有效的方法，使其可以部署在移动和边缘设备上。为了保持全精度模型的高性能，大多数现有的量化方法都通过假设训练数据集是可访问的，来微调量化模型。然而，由于数据隐私和安全问题，这种假设在实际情况中有时并不满足，从而使这些量化方法不适用。为了在不访问训练数据的情况下实现零短模型量化，少数量化方法采用训练后量化，要么批量归一化统计引导数据生成进行微调。然而，两者都不可避免地存在性能低下的问题，因为前者过于经验化，缺乏对超低精度量化的训练支持，而后者不能完全还原原始数据的特性，对于多样化的数据往往效率低下一代。为了解决上述问题，本文提出了一个零样本对抗量化（ZAQ）框架，促进了有效的差异估计和从全精度模型到量化模型的知识转移。这是通过一种新颖的两级差异建模来实现的，以驱动生成器合成信息丰富且多样化的数据示例，从而以对抗性学习方式优化量化模型。本文对三个基本视觉任务进行了广泛的实验，证明了 ZAQ 在强零样本基线上的优越性，并验证了其主要组件的有效性。
代码： https://github.com/FLHonker/ZAQ-code
5. Light Field Super-Resolution with Zero-Shot Learning
作者：Zhen Cheng, Zhiwei Xiong, Chang Chen, Dong Liu, Zheng-Jun Zha
摘要：深度学习为光场超分辨率 (SR) 研究提供了一条新途径。然而，由不同的光场采集条件所引起的域间隙是其在实际应用中亟需解决的问题。为了有效缓解这个问题，本文提出了一个用于光场SR的零样本学习框架，该框架学习了一种映射，以使用仅从输入低分辨率光场本身中提取的示例，来超分辨率参考视图。然而，鉴于零样本设置下的训练数据非常有限，本文观察到很难成功训练端到端网络。相反，本文将这个具有挑战性的任务分为三个子任务，即预上采样、视图对齐和多视图聚合，然后用简单而高效的CNN分别克服它们。此外，所提出的框架可以很容易地扩展到微调源数据集上的预训练模型，以更好地适应目标输入，这进一步提高了野外光场SR的性能。实验结果验证，本文的方法不仅优于经典的非基于学习的方法，而且当域差距很大时，与最先进的基于深度学习的方法相比，对看不见的光场的泛化能力也更好。
6. Contrastive Embedding for Generalized Zero-Shot Learning
作者：Zongyan Han, Zhenyong Fu, Shuo Chen, Jian Yang
摘要：广义零样本学习（GZSL）旨在从可见类和不可见类中识别对象，当仅提供来自可见类的标记示例时。最近的特征生成方法学习了一个生成模型，该模型可以合成看不见的类的缺失视觉特征，以缓解 GZSL 中的数据不平衡问题。然而，原始的视觉特征空间对于 GZSL 分类来说是次优的，因为它缺乏判别信息。为了解决这个问题，本文建议将生成模型与嵌入模型相结合，产生一个混合 GZSL 框架。混合 GZSL 方法将生成模型生成的真实样本和合成样本都映射到嵌入空间中，在其中执行最终的 GZSL 分类。具体来说，本文为混合 GZSL 框架提出了对比嵌入 (CE)。所提出的对比嵌入不仅可以利用类监督，还可以利用实例监督，后者通常被现有的 GZSL 研究忽略。本文在五个基准数据集上评估了本文提出的具有对比嵌入的混合 GZSL 框架，名为 CE-GZSL。结果表明，本文的 CEGZSL 方法可以在三个数据集上显着优于最先进的方法。
1. Zero-Shot Instance Segmentation
2. Open World Compositional Zero-Shot Learning
3. Learning Graph Embeddings for Compositional Zero-shot Learning
4. Zero-shot Adversarial Quantization
5. Light Field Super-Resolution with Zero-Shot Learning
6. Contrastive Embedding for Generalized Zero-Shot Learning
相关内容
微信扫码咨询专知VIP会员