领域适应(DA)提供了重用数据和模型用于新问题领域的有价值的方法。然而,对于具有不同数据可用性的时间序列数据,还没有考虑到健壮的技术。在本文中,我们做出了三个主要贡献来填补这一空白。我们提出了一种新的时间序列数据卷积深度域自适应模型(CoDATS),该模型在现实传感器数据基准上显著提高了最先进的DA策略的准确性和训练时间。通过利用来自多个源域的数据,我们增加了CoDATS的有用性,从而进一步提高了与以前的单源方法相比的准确性,特别是在域之间具有高度可变性的复杂时间序列数据集上。其次,我们提出了一种新的弱监督域自适应(DA-WS)方法,利用目标域标签分布形式的弱监督,这可能比其他数据标签更容易收集。第三,我们对不同的真实数据集进行了综合实验,以评估我们的域适应和弱监督方法的有效性。结果表明,用于单源DA的CoDATS比最先进的方法有了显著的改进,并且我们使用来自多个源域和弱监督信号的数据实现了额外的准确性改进。

成为VIP会员查看完整内容
0
18

相关内容

针对自监督学习的深度聚类是无监督视觉表示学习中一个非常重要和有前途的方向,因为设计前置任务需要较少的领域知识。而关键组件嵌入聚类由于需要保存整个数据集的全局潜在嵌入,限制了其扩展到超大规模的数据集。在这项工作中,我们的目标是使这个框架在不降低性能的情况下更加简单和优雅。提出了一种不使用嵌入聚类的无监督图像分类框架,与标准的监督训练方法非常相似。为了进一步解释,我们进一步分析了其与深度聚类和对比学习的关系。在ImageNet数据集上进行了大量的实验,验证了该方法的有效性。此外,在迁移学习基准上的实验验证了它对其他下游任务的推广,包括多标签图像分类、目标检测、语义分割和小样本图像分类。

地址:

https://arxiv.org/abs/2006.11480

成为VIP会员查看完整内容
0
61

领域适应(DA)提供了重用数据和模型用于新问题领域的有价值的方法。然而,对于具有不同数据可用性的时间序列数据,还没有考虑到健壮的技术。在本文中,我们做出了三个主要贡献来填补这一空白。我们提出了一种新的时间序列数据卷积深度域自适应模型(CoDATS),该模型在现实传感器数据基准上显著提高了最先进的DA策略的准确性和训练时间。通过利用来自多个源域的数据,我们增加了CoDATS的有用性,从而进一步提高了与以前的单源方法相比的准确性,特别是在域之间具有高度可变性的复杂时间序列数据集上。其次,我们提出了一种新的弱监督域自适应(DA-WS)方法,利用目标域标签分布形式的弱监督,这可能比其他数据标签更容易收集。第三,我们对不同的真实数据集进行了综合实验,以评估我们的域适应和弱监督方法的有效性。结果表明,用于单源DA的CoDATS比最先进的方法有了显著的改进,并且我们使用来自多个源域和弱监督信号的数据实现了额外的准确性改进。

成为VIP会员查看完整内容
0
40

基于卷积神经网络的方法在语义分割方面取得了显著的进展。然而,这些方法严重依赖于注释数据,这是劳动密集型的。为了解决这一限制,使用从图引擎生成的自动注释数据来训练分割模型。然而,从合成数据训练出来的模型很难转换成真实的图像。为了解决这个问题,以前的工作已经考虑直接将模型从源数据调整到未标记的目标数据(以减少域间的差距)。尽管如此,这些技术并没有考虑到目标数据本身之间的巨大分布差异(域内差异)。在这项工作中,我们提出了一种两步自监督域适应方法来减少域间和域内的差距。首先,对模型进行域间自适应;在此基础上,我们使用基于熵的排序函数将目标域分成简单和困难的两部分。最后,为了减小域内间隙,我们提出了一种自监督自适应技术。在大量基准数据集上的实验结果突出了我们的方法相对于现有的最先进方法的有效性。

成为VIP会员查看完整内容
0
54

在需要平衡性能和参数效率的应用中,选择深度神经网络结构是一个基本问题。标准方法依赖于特定数据集上的特别工程或计算上昂贵的验证。相反,我们试图通过网络的内在能力来量化网络的独特性和健壮性,从而在不需要任何数据的情况下进行有效的架构比较。基于深度学习和稀疏逼近之间的理论联系,我们提出了深度框架潜力:一种与表征稳定性近似相关的相干性度量,但具有仅依赖于网络结构的最小值。这为联合量化架构超参数(如深度、宽度和跳过连接)的贡献提供了一个框架。我们验证了它作为模型选择标准的作用,并证明了它与各种通用残差和密集连接的网络架构上的泛化误差之间的相关性。

成为VIP会员查看完整内容
0
16

场景流估计在三维环境感知中越来越受到重视。单目场景流估计是一个高度不适定的问题,目前缺乏实用的解决方案。单目场景流估计是从两个时间上连续的图像中获取三维结构和三维运动。我们提出了一种新的单目场景流算法,该算法具有较强的精度和实时性。采用逆问题观点,我们设计了一个单独的卷积神经网络(CNN),它可以成功地从一个经典的光流成本体积同时估计深度和三维运动。我们采用带有三维损失函数和遮挡推理的自监督学习来利用未标记的数据。我们验证了我们的设计选择,包括代理丢失和增加设置。我们的模型在单目场景流的无监督/自监督学习方法中达到了最先进的精度,并在光流和单目深度估计子任务中获得了具有竞争力的结果。半监督微调进一步提高了精度,并在实时产生有希望的结果。

成为VIP会员查看完整内容
0
17

当对一系列学习问题进行优化时,卷积神经网络会经历灾难性的遗忘:当满足当前训练示例的目标时,它们在以前任务中的性能会急剧下降。在这项工作中,我们介绍了一个基于条件计算的新的框架来解决这个问题。

成为VIP会员查看完整内容
0
14

大多数基于图网络的元学习方法都对实例级关系进行了建模。我们进一步扩展了这个思想,以1-vs-N的方式显式地将一个示例的分布级关系建模为所有其他示例的分布级关系。提出了一种新的分布传播图网络(DPGN)学习算法。在每一个小样本学习任务中,它都传达了分布层次关系和实例层次关系。为了结合所有实例的分布级关系和实例级关系,我们构造了一个由点图和分布图组成的对偶完全图网络,其中每个节点都代表一个实例。DPGN具有双重图结构,可以在几个更新代中将标签信息从带标签的示例传播到未带标签的示例。在对小样本学习基准的大量实验中,DPGN在监督设置下的5% ~ 12%和在半监督设置下的7% ~ 13%的范围内都比最新的结果好得多。代码可以在https://github.com/megviiresearch/DPGN找到。

成为VIP会员查看完整内容
0
24

题目: Milking CowMask for Semi-Supervised Image Classification

摘要:

一致性正则化是一种用于半监督学习的技术,最近被证明可以在标记数据很少的情况下产生强大的分类结果。该方法通过增加或反例扰动输入数据,并鼓励所学习的模型对未标记数据的扰动具有鲁棒性。在这里,我们评估了一种最近提出的增强方法,称为CowMasK。在半监督一致性正则化中,使用CowMask作为增强方法,我们在Imagenet上建立了一个新的最优结果,标记数据为10%,前5位误差为8.76%,前1位误差为26.06%。此外,我们使用的方法比其他方法简单得多。我们通过在小型图像基准SVHN、CIFAR-10和CIFAR-100上运行许多较小规模的实验,进一步研究了CowMask用于半监督学习的行为,在这些实验中,我们获得了与现有水平相当的结果,并且发现了CowMask扰动广泛适用的证据。

成为VIP会员查看完整内容
0
16

人工智能技术在医学影像领域的应用是医学研究的热点之一。然而,这一领域最近的成功主要依赖于大量仔细注释的数据,而对医学图像进行注释是一个昂贵的过程。在本文中,我们提出了一种新的方法,称为FocalMix,据我们所知,这是第一个利用半监督学习(SSL)的最新进展来进行3D医学图像检测的方法。我们对两个广泛应用的肺结节检测数据集LUNA16和NLST进行了广泛的实验。结果表明,与最先进的监督学习方法相比,我们提出的SSL方法可以通过400个未标记的CT扫描实现高达17.3%的实质性改进。

成为VIP会员查看完整内容
0
49

题目: Multi-Modal Domain Adaptation for Fine-Grained Action Recognition

摘要: 细粒度动作识别数据集表现出环境偏差,其中多个视频序列是从有限数量的环境中捕获的。在一个环境中训练一个模型,然后部署到另一个环境中,由于不可避免的领域转换,会导致性能下降。无监督域适应(UDA)方法经常用于源域和目标域之间的对抗训练。然而,这些方法并没有探索视频在每个领域的多模态性质。在这个工作我们利用模式的通信作为UDA self-supervised对齐的方法除了敌对的对齐(图1),我们测试我们的方法在三个厨房从大规模的数据集,EPIC-Kitchens,使用两种方法通常用于行为识别:RGB和光学流。结果表明,多模态的自监督比单纯的训练平均提高了2.4%。然后我们将对抗训练与多模态自我监督相结合,结果表明我们的方法比其他的UDA方法高3%。

成为VIP会员查看完整内容
0
68
小贴士
相关论文
Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation
Risto Vuorio,Shao-Hua Sun,Hexiang Hu,Joseph J. Lim
22+阅读 · 2019年10月30日
Meta Learning for End-to-End Low-Resource Speech Recognition
Jui-Yang Hsu,Yuan-Jui Chen,Hung-yi Lee
17+阅读 · 2019年10月26日
Pan Li,Alexander Tuzhilin
5+阅读 · 2019年10月11日
SlowFast Networks for Video Recognition
Christoph Feichtenhofer,Haoqi Fan,Jitendra Malik,Kaiming He
4+阅读 · 2019年4月18日
Transfer Adaptation Learning: A Decade Survey
Lei Zhang
31+阅读 · 2019年3月12日
Efficient Parameter-free Clustering Using First Neighbor Relations
M. Saquib Sarfraz,Vivek Sharma,Rainer Stiefelhagen
3+阅读 · 2019年2月28日
Alexander Fritzler,Varvara Logacheva,Maksim Kretov
6+阅读 · 2018年12月14日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
11+阅读 · 2018年12月10日
Ankan Bansal,Karan Sikka,Gaurav Sharma,Rama Chellappa,Ajay Divakaran
6+阅读 · 2018年4月12日
Alexandre Attia,Sharone Dayan
3+阅读 · 2018年1月19日
Top
微信扫码咨询专知VIP会员