近期必读的八篇【Meta-Learning(元学习)】相关论文和代码

2019 年 9 月 15 日 专知
近期必读的八篇【Meta-Learning(元学习)】相关论文和代码

【导读】Meta-Learning(元学习)是最新研究热点热,这两年相关论文非常多,结合最新的热点方法,在应用到自己的领域,已经是大部分研究者快速出成果的一个必备方式。元学习旨在通过一些训练少量样本可以学习新技能或快速适应新环境的模型今天小编专门整理最新八篇Meta-Learning(元学习)包括NeuralPS、ICCV、EMNLP等顶会论文,涵盖图元学习、隐式梯度元学习等。


请关注专知公众号(点击上方蓝色关注

  • 后台回复“元学习” 就可以获取所有元学习论文下载链接~ 


1、Learning to Propagate for Graph Meta-Learning(图元学习的学习传播)

NeuralPS ’19 ,悉尼科技大学,华盛顿大学

作者Lu LiuTianyi ZhouGuodong LongJing JiangChengqi Zhang

摘要元学习旨在从学习不同任务中获得共同知识,并将其用于不可见的任务。它在训练数据不足的任务上,如少样本学习的任务上,显示出明显的优势。在大多数元学习方法中,任务是通过共享模型或优化器隐式关联的。在这篇论文中,我们证明了一个元学习器可以显式地将任务与描述其输出维度(如类)关系的图表联系起来,从而显著地提高少样本学习的性能。这种类型的图通常是免费或廉价获得的,但在以前的工作中很少进行探索。我们研究了基于原型的少样本分类,其中每个类生成一个原型,使原型之间的最近邻搜索产生一个准确的分类。引入“门控传播网络(GPN)”,学会在图上不同类的原型之间传播消息,使学习每个类的原型受益于其他相关类的数据。在GPN中,注意机制用于聚合来自邻近类的消息,并部署了一个gate来在聚合的消息和来自类本身的消息之间进行选择。GPN是针对子图抽样生成的多样本到少样本的任务序列进行训练的。在训练期间,它能够重用和更新以前实现的原型从记忆中在一个终身学习周期。在实验中,我们改变了训练-测试差异和测试任务生成设置,以进行彻底的评估。在所有的实验中,GPN在两个基准数据集上都优于最近的元学习方法。

网址

https://www.zhuanzhi.ai/paper/61e36771d2ee93c416e8eb2ebed7c307


2、Meta-Learning with Implicit Gradients(隐式梯度元学习)

NeuralPS ’19 ,加州大学伯克利分校

作者Aravind RajeswaranChelsea FinnSham KakadeSergey Levine

摘要智能系统的一个核心能力是能够通过借鉴以往的经验快速学习新任务。基于梯度(或优化)的元学习是近年来出现的一种有效的学习方法。在这个范式中,元参数在外部循环中学习,而特定于任务的模型在内部循环中只使用当前任务的少量数据学习。扩展这些方法的一个关键挑战是需要通过内部循环学习过程进行区分,这可能带来相当大的计算和内存负担。利用隐式微分法,提出了隐式MAML算法,该算法只依赖于内部层次优化的解,而不依赖于内部循环优化器所采用的路径。这有效地将元梯度计算与内部循环优化器的选择解耦。因此,我们的方法对内部循环优化器的选择是不可知的,并且可以优雅地处理许多梯度步骤,而不会消失梯度或内存约束。从理论上,我们证明了隐式MAML可以计算精确的元梯度,其内存占用不超过计算单个内循环梯度所需的内存占用,且不增加总计算成本。实验表明,隐式MAML的这些优点可以转化为基于少量样本图像识别基准的经验增益。

网址

https://www.zhuanzhi.ai/paper/75b6ea47af934e635108622e60e66c44

https://sites.google.com/view/imaml


3、Learning to Learn and Predict: A Meta-Learning Approach for Multi-Label Classification (学会学习和预测:一种用于多标签分类的元学习方法)

EMNLP ’19 ,加州大学圣塔芭芭拉分校

作者Jiawei WuWenhan XiongWilliam Yang Wang

摘要自然语言处理中的许多任务都可以看作是多标签分类问题。然而,现有的模型大多采用标准的交叉熵损失函数训练,对所有的标签使用固定的预测策略(如阈值0.5),完全忽略了不同标签之间的复杂性和依赖性。在本文中,我们提出了一种元学习方法来捕获这些复杂的标签依赖关系。更具体地说,我们的方法利用元学习者来共同学习不同标签的训练策略和预测策略。然后利用训练策略训练具有交叉熵损失函数的分类器,并进一步实现预测策略进行预测。基于细粒度实体分类和文本分类的实验结果表明,该方法能够获得更准确的多标签分类结果

网址

https://www.zhuanzhi.ai/paper/a443f941e075d1df7dbccf3b5cf55568


4、Meta Relational Learning for Few-Shot Link Prediction in Knowledge Graphs (元关联学习用于知识图谱中少样本链接预测)

EMNLP ’19 ,浙江大学,阿里巴巴

作者Mingyang ChenWen ZhangWei ZhangQiang ChenHuajun Chen

摘要链接预测是完成知识图谱(KGs)的一种重要方法,而基于嵌入的方法是KGs中链接预测的有效方法,但在只有少量关联三元组的关系上,其性能较差。在这项工作中,我们提出了一个元关系学习(MetaR)框架来做KGs中常见但具有挑战性的少量样本链接预测,即通过观察几个关联三元组来预测一个关系的新三元组。通过重点转移关系相关的元信息,使模型学习最重要的知识,学习速度更快,从而解决了少样本链接预测问题,分别对应于MetaR中的关系元和梯度元。从经验上看,我们的模型在少样本链路预测KG基准上取得了最先进的结果。

网址

https://www.zhuanzhi.ai/paper/a443f941e075d1df7dbccf3b5cf55568



5、Investigating Meta-Learning Algorithms for Low-Resource Natural Language Understanding Tasks(研究低资源自然语言理解任务的元学习算法)

EMNLP ’19 ,卡内基梅隆大学CMU

作者Zi-Yi DouKeyi YuAntonios Anastasopoulos

摘要学习文本的一般表示是许多自然语言理解(NLU)任务的一个基本问题。以前,研究人员提出使用语言模型预训练和多任务学习来学习鲁棒表示。然而,这些方法在低资源场景下获得次优性能。受最近基于优化的元学习算法成功的启发,本文研究了模型无关元学习算法(MAML)及其在低资源NLU任务中的变体。我们在GLUE基准测试上验证了我们的方法,并表明我们提出的模型可以优于几个强基线。我们进一步的经验证明,学习表征可以有效地适应新的任务。

网址

https://www.zhuanzhi.ai/paper/d7271232452b98d7ff27301681fa65e7



6、MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation (MeLU:用于冷启动推荐的元学习用户偏好估计器)

KDD ’19 ,韩国NCSOFT

作者Hoyeop LeeJinbae ImSeongwon JangHyunsouk ChoSehee Chung

摘要本文提出了一种新的推荐系统,解决了基于少量样本物品来估计用户偏好的冷启动问题。为了确定用户在冷启动状态下的偏好,现有的推荐系统,如Netflix,最初向用户提供商品;我们称这些物品为候选证据。然后根据用户选择的物品提出建议。以往的推荐研究有两个局限性:(1)消费了少量商品的用户推荐不佳,(2)候选证据不足,无法识别用户偏好。为了克服这两个限制,我们提出了一种基于元学习的推荐系统MeLU。从元学习中,MeLU可以通过几个例子快速地采用新任务,通过几个消费项来估计新用户的偏好。此外,我们提供了一个证据候选选择策略,以确定自定义偏好估计的区分项目。我们用两个基准数据集对MeLU进行了验证,与两个比较模型相比,该模型的平均绝对误差至少降低了5.92%。我们还进行了用户研究实验来验证证据选择策略。

网址

https://www.zhuanzhi.ai/paper/041f96c7f86a79ebdf9399ea61405aa7



7、Meta Learning for Task-Driven Video Summarization (元学习用于任务驱动的视频摘要)

IEEE Transactions on Industrial Electronics, 2019 ,西北工业大学

作者Xuelong LiHongli LiYongsheng Dong

摘要现有的视频摘要方法主要集中于视频数据的序列或结构特征。然而,他们对视频摘要任务本身并没有给予足够的重视。本文提出了一种基于任务驱动的视频摘要元学习方法(MetaL-TDVS),明确探索了不同视频摘要过程之间的视频摘要机制。其中MetaL-TDVS旨在通过将视频摘要重新定义为元学习问题,挖掘视频摘要的潜在机制,提高训练模型的泛化能力。MetaL-TDVS将每一个视频的总结作为一个单独的任务,更好的利用总结其他视频过程中学习到的经验和知识来总结新的视频。此外,MetaL-TDVS通过两倍反向传播对模型进行更新,使模型在一个视频上得到优化,从而在每个训练步骤中对另一个视频获得较高的精度。在基准数据集上的大量实验表明,金属- tdvs相对于几种最先进的方法具有优越性和更好的泛化能力。


网址

https://www.zhuanzhi.ai/paper/e5ecefaca79ad73526af031b6aec6fb6



8、MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning (MeLU:用于冷启动推荐的元学习用户偏好估计器)

ICCV’19 ,清华大学,旷视科技

作者Zechun LiuHaoyuan MuXiangyu ZhangZichao GuoXin YangTim Kwang-Ting ChengJian Sun

摘要在本文中,我们提出了一种新的元学习方法来自动剪枝非常深的神经网络的通道。我们首先训练一个剪枝网络,这是一种元网络,它能够为给定目标网络的任何剪枝结构生成权重参数。我们使用一种简单的随机结构抽样方法来训练剪枝网络。然后,应用进化过程搜索性能良好的剪枝网络。由于权值直接由训练过的剪枝网络生成,因此在搜索时不需要任何微调,因此搜索效率很高。通过对目标网络的单一剪枝网络进行训练,我们可以在不需要人工参与的情况下搜索不同约束条件下的各种剪枝网络。与目前最先进的剪枝方法相比,我们已经在MobileNet V1/V2和ResNet上展示了优越的性能。代码可以在https://github.com/liuzechun/runing上找到


网址

https://www.zhuanzhi.ai/paper/e5ecefaca79ad73526af031b6aec6fb6




-END-

专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!560+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
115

相关内容

Meta Learning,元学习,也叫 Learning to Learn(学会学习)。是继Reinforcement Learning(增强学习)之后又一个重要的研究分支。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】ICML(International Conference on Machine Learning),即国际机器学习大会, 是机器学习领域全球最具影响力的学术会议之一,因此在该会议上发表论文的研究者也会备受关注。因疫情的影响, 今年第37届ICML大会将于2020年7月13日至18日在线上举行。据官方统计,ICML 2020共提交4990篇论文,接收论文1088篇,接收率为21.8%。与往年相比,接收率逐年走低。在会议开始前夕,专知小编为大家整理了ICML 2020图神经网络(GNN)的六篇相关论文供参考——核GNN、特征变换、Haar 图池化、无监督图表示、谱聚类、自监督GCN。

ICML 2020 Accepted Papers https://icml.cc/Conferences/2020/AcceptedPapersInitial

ACL2020GNN_Part1、WWW2020GNN_Part1、AAAI2020GNN、ACMMM2019GNN、CIKM2019GNN、ICLR2020GNN

1. Convolutional Kernel Networks for Graph-Structured Data

作者:Dexiong Chen, Laurent Jacob, Julien Mairal

摘要:我们引入了一系列多层图核,并在图卷积神经网络和核方法之间建立了新的联系。我们的方法通过将图表示为核特征映射序列将卷积核网络推广到图结构数据,其中每个节点携带关于局部图子结构的信息。一方面,核的观点提供了一种无监督的、有表现力的、易于正规化的数据表示,这在样本有限的情况下很有用。另一方面,我们的模型也可以在大规模数据上进行端到端的训练,从而产生了新型的图卷积神经网络。我们的方法在几个图分类基准上取得了与之相当的性能,同时提供了简单的模型解释。

网址: https://arxiv.org/abs/2003.05189

代码链接: https://github.com/claying/GCKN

2. GNN-FILM: Graph Neural Networks with Feature-Wise Linear Modulation 作者:Marc Brockschmidt

摘要:本文提出了一种新的基于特征线性调制(feature-wise linear modulation,FiLM)的图神经网络(GNN)。许多标准GNN变体仅通过每条边的源的表示来计算“信息”,从而沿着图的边传播信息。在GNN-FILE中,边的目标节点的表示被附加地用于计算可以应用于所有传入信息的变换,从而允许对传递的信息进行基于特征的调制。基于基线方法的重新实现,本文给出了在文献中提到的三个任务上的不同GNN体系结构的实验结果。所有方法的超参数都是通过广泛的搜索找到的,产生了一些令人惊讶的结果:基线模型之间的差异比文献报道的要小。尽管如此,GNN-FILE在分子图的回归任务上的表现优于基线方法,在其他任务上的表现也具有竞争性。

网址: https://arxiv.org/abs/1906.12192

3. Haar Graph Pooling

作者:Yu Guang Wang, Ming Li, Zheng Ma, Guido Montufar, Xiaosheng Zhuang, Yanan Fan

摘要:深度图神经网络(GNNs)是用于图分类和基于图的回归任务的有效模型。在这些任务中,图池化是GNN适应不同大小和结构的输入图的关键因素。本文提出了一种新的基于压缩Haar变换的图池化操作-HaarPooling。HaarPooling实现了一系列池化操作;它是通过跟随输入图的一系列聚类序列来计算的。HaarPooling层将给定的输入图变换为节点数较小、特征维数相同的输出图;压缩Haar变换在Haar小波域中过滤出细节信息。通过这种方式,所有HaarPooling层一起将任何给定输入图的特征合成为大小一致的特征向量。这种变换提供了数据的稀疏表征,并保留了输入图的结构信息。使用标准图卷积层和HaarPooling层实现的GNN在各种图分类和回归问题上实现了最先进的性能。

网址: https://arxiv.org/abs/1909.11580

4. Interferometric Graph Transform: a Deep Unsupervised Graph Representation 作者:Edouard Oyallon

摘要:我们提出了Interferometric Graph Transform(IGT),这是一类用于构建图表示的新型深度无监督图卷积神经网络。我们的第一个贡献是提出了一种从欧几里德傅立叶变换的推广得到的通用复数谱图结构。基于一个新颖的贪婪凹目标,我们的学习表示既包括可区分的特征,也包括不变的特征。通过实验可以得到,我们的学习过程利用了谱域的拓扑,这通常是谱方法的一个缺陷,特别是我们的方法可以恢复视觉任务的解析算子。我们在各种具有挑战性的任务上测试了我们的算法,例如图像分类(MNIST,CIFAR-10)、社区检测(Authorship,Facebook graph)和3D骨架视频中的动作识别(SBU,NTU),在谱图非监督环境下展示了一种新的技术水平。

网址:

https://arxiv.org/abs/2006.05722

5. Spectral Clustering with Graph Neural Networks for Graph Pooling

作者:Filippo Maria Bianchi, Daniele Grattarola, Cesare Alippi

摘要:谱聚类(SC)是发现图上强连通社区的一种流行的聚类技术。SC可以在图神经网络(GNN)中使用,以实现聚合属于同一簇的节点的池化操作。然而,Laplacian的特征分解代价很高,而且由于聚类结果是特定于图的,因此基于SC的池化方法必须对每个新样本执行新的优化。在本文中,我们提出了一种图聚类方法来解决SC的这些局限性。我们建立了归一化minCUT问题的连续松弛公式,并训练GNN来计算最小化这一目标的簇分配。我们的基于GNN的实现是可微的,不需要计算谱分解,并且学习了一个聚类函数,可以在样本外的图上快速评估。从提出的聚类方法出发,我们设计了一个图池化算子,它克服了现有图池化技术的一些重要局限性,并在多个监督和非监督任务中取得了最好的性能。

网址: https://arxiv.org/abs/1907.00481

6. When Does Self-Supervision Help Graph Convolutional Networks?

作者:Yuning You, Tianlong Chen, Zhangyang Wang, Yang Shen

摘要:自监督作为一种新兴的技术已被用于训练卷积神经网络(CNNs),以提高图像表示学习的可传递性、泛化能力和鲁棒性。然而,自监督对操作图形数据的图卷积网络(GCNS)的介绍却很少被探索。在这项研究中,我们首次将自监督纳入GCNS的系统探索和评估。我们首先阐述了将自监督纳入GCNS的三种机制,分析了预训练&精调和自训练的局限性,并进而将重点放在多任务学习上。此外,我们还提出了三种新的GCNS自监督学习任务,并进行了理论分析和数值比较。最后,我们进一步将多任务自监督融入到图对抗性训练中。研究结果表明,通过合理设计任务形式和合并机制,自监督有利于GCNS获得更强的泛化能力和鲁棒性。

网址: https://arxiv.org/abs/2006.09136

代码链接: https://github.com/Shen-Lab/SS-GCNs

成为VIP会员查看完整内容
0
88

计算机视觉顶会 CVPR 2019 的论文接前几天公布了接受论文:在超过 5100 篇投稿中,共有 1300 篇被接收,达到了接近 25.2% 的接收率。上周小编推出CVPR2019图卷积网络相关论文,反响热烈。CVPR2019 最新发布的论文有很多关于生成对抗网络(GAN)相关论文,今天小编专门整理最新十篇生成对抗网络相关视觉论文—风格迁移、图像合成、异常检测、事件、故事可视化、Text2Scene等。

1、A Style-Based Generator Architecture for Generative Adversarial Networks(一种用于生成对抗网络的基于Style的新生成器结构)

作者:Tero Karras, Samuli Laine, Timo Aila

摘要:我们借鉴了风格迁移的相关工作,提出了一种用于生成对抗网络的替代生成器结构。新的结构自动学习、无监督地分离高级属性(例如,在人脸训练时的姿势和身份)和生成图像中的随机变化(例如雀斑、头发),并支持对合成的直观、特定尺度的控制。该算法改进了传统的分布质量度量方法,提高了插补性能,并较好地解决了潜在的变化因素。为了量化interpolation quality和disentanglement,我们提出了两种新的、适用于任何生成器架构的自动化方法。最后,我们介绍了一个新的,高度多样化和高质量的人脸数据集。

网址:

https://arxiv.org/abs/1812.04948v3

代码链接:

https://github.com/NVlabs/stylegan

2、Spatial Fusion GAN for Image Synthesis(基于空间融合GAN的图像合成)

作者:Fangneng Zhan, Hongyuan Zhu, Shijian Lu

摘要:生成对抗网络(GANs)的最新研究成果显示了其在真实图像合成方面的巨大潜力,而现有的大多数文章都是在外观空间或几何空间进行合成,但同时使用两者的很少。本文提出了一种新颖的空间融合GAN (SF-GAN),它结合了几何合成器和表观合成器,实现了几何和外观空间的综合真实感。该几何合成器学习背景图像的背景几何,并一致地将前景对象转换和放置到背景图像中。该外观合成器对前景对象的颜色、亮度和样式进行调整,并将其和谐地嵌入背景图像中,其中引入了一个用于细节保存的引导滤波器。这两个合成器相互连接,作为相互参照,可以在没有监督的情况下进行端到端训练。对SF-GAN在两个任务中进行了评估: (1)为训练更好的识别模型,进行了逼真的场景文本图像合成;(2)戴眼镜和帽子,与真人相匹配的眼镜和帽子。定性和定量的比较表明了所提出的SF-GAN的优越性。

网址:

https://arxiv.org/abs/1812.05840v2

代码链接:

https://github.com/fnzhan/SF-GAN

3、f-VAEGAN-D2: A Feature Generating Framework for Any-Shot Learning(任意样本学习的特征生成框架)

作者:Yongqin Xian, Saurabh Sharma, Bernt Schiele, Zeynep Akata

摘要:当标记的训练数据很少时,一种很有前途的数据增强方法是使用未知类的属性生成它们的视觉特征。为了学习CNN特征的类条件分布,这些模型依赖于成对的图像特征和类属性。因此,他们无法利用大量未标记的数据样本。在本文中,我们在一个统一的特征生成框架中处理任意样本学习问题,即零样本和少样本。我们建立了一个结合VAE和GANs的强度的条件生成模型,并通过一个无条件的判别器学习未标记图像的边缘特征分布。我们的实验表明,我们的模型学习了CUB、SUN、AWA和ImageNet这5个数据集的CNN特征,并建立了一种新的最前沿的任意样本学习,即归纳和转换(广义)零样本和少样本学习设置。我们还证明了我们所学习的特性是可解释的: 我们通过将它们反转回像素空间来对它们进行可视化,并通过生成文本参数来解释它们为什么与某个标签相关联。

网址:

https://arxiv.org/abs/1903.10132v1

4、OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations(OCGAN:使用具有约束潜在表征的GAN进行One-class异常检测)

作者:Pramuditha Perera, Ramesh Nallapati, Bing Xiang

摘要:针对单类异常检测的经典问题,提出了一种新的OCGAN模型,其中,给定一组来自特定类的示例,目标是确定查询示例是否来自同一类。我们的解决方案基于使用去噪自编码器网络学习类内示例的潜在表示。我们工作的关键贡献是我们显式地约束潜在空间,使其只表示给定的类。为了实现这一目标,首先,我们通过在编码器的输出层引入tanh激活函数来强制潜在空间获得有限的支持。其次,在反方向训练的潜在空间中使用判别器,保证了类内样本的编码表示形式类似于从同一有界空间抽取的均匀随机样本。第三,在输入空间中使用第二个对抗性判别器,确保所有随机抽取的潜在样本生成的示例看起来都是真实的。最后,我们介绍了一种基于梯度下降的采样技术,该技术探索潜在空间中的点,这些点生成潜在的类外示例,并将这些类外示例反馈给网络,进一步训练网络从这些点生成类内示例。该方法通过四个公开可用的数据集,使用两种one-class异常检测协议来证明其有效性,跟别的方法相比,我们的方法实现了最先进的结果。

网址:

https://arxiv.org/abs/1903.08550v1

代码链接:

https://github.com/fidler-lab/curve-gcn

5、Event-based High Dynamic Range Image and Very High Frame Rate Video Generation using Conditional Generative Adversarial Networks(使用条件生成对抗网络生成基于事件的高动态范围图像和超高帧率视频)

作者:S. Mohammad Mostafavi I., Lin Wang, Yo-Sung Ho, Kuk-Jin Yoon

摘要:与传统相机相比,Event camera具有低延迟、高时间分辨率、高动态范围等优点。然而,由于Event camera的输出是超时的异步事件序列而不是实际强度图像,因此不能直接应用现有算法。因此,需要从事件中为其他任务生成强度图像。在本文中,我们揭开了基于Event camera的条件生成对抗网络的潜力,从事件数据流的可调部分创建图像/视频。利用事件的时空坐标栈作为输入,训练网络根据时空强度变化再现图像。并且,还证明了Event camera在极端光照条件下也能生成高动态范围(HDR)图像,在快速运动下也能生成非模糊图像。此外,还演示了生成非常高帧率视频的可能性,理论上可以达到每秒100万帧(FPS),因为Event camera的时间分辨率大约为1{\mu}s。通过与使用在线可用的真实数据集和Event camera模拟器生成的合成数据集在同一像素事件网格线上捕获的强度图像进行比较,对所提出的方法进行了评估。

网址:

https://arxiv.org/abs/1811.08230

6、GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction(GANFIT: 用于高保真三维人脸重建的生成对抗网络拟合)

作者:Baris Gecer, Stylianos Ploumpis, Irene Kotsia, Stefanos Zafeiriou

摘要:在过去的几年里,利用深度卷积神经网络(DCNNs)的强大功能,从单个图像中重建三维人脸结构已经做了大量的工作。在最近的研究中,我们使用了可微渲染器来学习人脸识别特征与三维形态和纹理模型参数之间的关系。纹理特征要么对应于线性纹理空间的组件,要么由自编码器直接从野外图像(in-the-wild images)中学习。在所有情况下,人脸纹理重建的最先进的方法仍然不能以高保真度来建模纹理。在这篇论文中,我们采取了一个完全不同的方法,利用生成对抗网络(GANs)和DCNNs的力量,从单一的图像重建面部纹理和形状。也就是说,我们利用GAN在UV空间中训练一个非常强大的面部纹理生成器。在此基础上,利用非线性优化方法,对原三维形态模型(3DMMs)拟合方法进行了重新研究,找到了最优的潜在参数,并在新的视角下对测试图像进行了重构。利用端到端可微框架,我们通过预先训练的深层身份特征来优化参数。我们在真实感和保真性的三维人脸重建方面取得了优异的效果,并首次实现了基于高频细节的人脸纹理重建。

网址:

https://arxiv.org/abs/1902.05978

代码链接:

https://github.com/barisgecer/ganfit

7、Self-Supervised Generative Adversarial Networks(自监督生成对抗网络)

作者:Ting Chen, Xiaohua Zhai, Marvin Ritter, Mario Lucic, Neil Houlsby

摘要:条件GAN是自然图像合成的前沿。这种模型的主要缺点是需要标记数据。在这项工作中,我们使用了两种流行的无监督学习技术,对抗性训练(adversarial training)和自监督(self-supervision),以缩小有条件和无条件GAN之间的差距。特别是,我们允许网络在表示学习的任务上进行协作,同时在经典的GAN游戏中具有对抗性。自监督的作用是鼓励discriminator学习有意义的特征表示,这些特征在训练中不会被遗忘。我们对学习图像表示的质量和合成图像的质量进行了经验检验。在相同条件下,自监督GAN获得与最先进的条件相似的性能。最后,我们证明了这种完全无监督学习的方法可以在无条件生成ImageNet时扩展到FID为33。

网址:

https://arxiv.org/abs/1811.11212

代码链接:

https://github.com/google/compare_gan

8、Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis(基于Mode Seeking的生成对抗网络方法应用于多种图像合成)

作者:Qi Mao, Hsin-Ying Lee, Hung-Yu Tseng, Siwei Ma, Ming-Hsuan Yang

摘要:大多数条件生成任务都期望给定一个条件上下文的不同输出。然而,条件生成对抗网络(cGANs)往往只关注先验条件信息,而忽略了输入噪声向量,从而导致了输出的变化。最近解决cGANs模式崩溃问题的尝试通常是特定于任务的,而且计算成本很高。在这项工作中,我们提出了一个简单而有效的正则化项来解决cGANs的模式崩溃问题。该方法显式地将生成的图像与对应的潜在编码(latent codes)之间的距离比值最大化,从而鼓励生成器在训练过程中探索更多的小模式。这种寻求正则化项的模式很容易适用于各种条件生成任务,而不需要增加训练开销或修改原有的网络结构。基于不同的baseline模型,我们在三个条件图像合成任务上验证了该算法的有效性,任务包括分类生成、图像到图像的转换、文本到图像的合成。定性和定量结果都证明了所提出的正则化方法在不损失质量的情况下提高多样性的有效性。

网址:

https://arxiv.org/abs/1903.10132v1

代码链接:

https://github.com/HelenMao/MSGAN

9、StoryGAN: A Sequential Conditional GAN for Story Visualization(StoryGAN: 序列条件GAN的故事可视化)

作者:Yitong Li, Zhe Gan, Yelong Shen, Jingjing Liu, Yu Cheng, Yuexin Wu, Lawrence Carin, David Carlson, Jianfeng Gao

摘要:在这项工作中,我们提出了一个新的任务,称为故事可视化(Story Visualization)。给定一个多句的段落,通过为每个句子生成一个图像序列来可视化故事。与视频生成不同,故事可视化不太关注生成图像(帧)中的连续性,而是更关注动态场景和角色之间的全局一致性——这是任何单一图像或视频生成方法都无法解决的挑战。因此,我们提出了一个新的基于序列条件GAN框架的故事到图像序列生成模型StoryGAN。我们的模型的独特之处在于,它由一个动态跟踪故事流的深层上下文编码器和两个分别位于故事和图像级别的鉴别器组成,以提高图像质量和生成序列的一致性。为了评估模型,我们修改了现有的数据集,以创建CLEVR-SV和Pororo-SV数据集。从经验上看,StoryGAN在图像质量、上下文一致性度量和人类评估方面优于最先进的模型。

网址:

https://arxiv.org/abs/1809.01110

代码链接:

https://github.com/yitong91/StoryGAN

10、Text2Scene: 从文本描述生成合成场景(使用条件生成对抗网络生成基于事件的高动态范围图像和超高帧率视频)

作者:Fuwen Tan, Song Feng, Vicente Ordonez

摘要:我们提出了Text2Scene模型,该模型对输入的自然语言描述进行解释,以生成各种形式的合成场景表示;从抽象的卡通场景到合成图像。与最近的工作不同,我们的方法不使用生成对抗网络,而是将编码器-解码器模型与基于半参数检索的方法相结合。Text2Scene学习通过关注输入文本的不同部分以及生成场景的当前状态,在每一个时间步骤中依次生成对象及其属性(位置、大小、外观等)。我们表明,在微小的修改下,所提出的框架可以处理不同形式的场景表示的生成,包括卡通场景、与真实图像对应的对象布局以及合成图像组合。我们的方法不仅与最先进的基于GAN的自动度量方法和基于人类判断的方法相比具有竞争力,而且更通用、更易于解释。

网址:

https://arxiv.org/abs/1811.08230

下载链接:https://pan.baidu.com/s/1_6kTGXGmojKjIq1U1nITfg 提取码:lb7k

成为VIP会员查看完整内容
0
18
小贴士
相关VIP内容
专知会员服务
51+阅读 · 2020年1月20日
专知会员服务
24+阅读 · 2020年1月10日
专知会员服务
18+阅读 · 2020年1月10日
专知会员服务
25+阅读 · 2020年1月10日
【ICLR2020】五篇Open代码的GNN论文
专知会员服务
36+阅读 · 2019年10月2日
相关论文
Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation
Risto Vuorio,Shao-Hua Sun,Hexiang Hu,Joseph J. Lim
20+阅读 · 2019年10月30日
Shumin Deng,Ningyu Zhang,Jiaojian Kang,Yichi Zhang,Wei Zhang,Huajun Chen
19+阅读 · 2019年10月25日
Lu Liu,Tianyi Zhou,Guodong Long,Jing Jiang,Chengqi Zhang
13+阅读 · 2019年9月11日
Meta-Learning with Implicit Gradients
Aravind Rajeswaran,Chelsea Finn,Sham Kakade,Sergey Levine
7+阅读 · 2019年9月10日
Kwonjoon Lee,Subhransu Maji,Avinash Ravichandran,Stefano Soatto
3+阅读 · 2019年4月23日
Antreas Antoniou,Harrison Edwards,Amos Storkey
16+阅读 · 2019年3月5日
Joaquin Vanschoren
106+阅读 · 2018年10月8日
Meta-Learning with Latent Embedding Optimization
Andrei A. Rusu,Dushyant Rao,Jakub Sygnowski,Oriol Vinyals,Razvan Pascanu,Simon Osindero,Raia Hadsell
6+阅读 · 2018年7月16日
Chengxiang Yin,Jian Tang,Zhiyuan Xu,Yanzhi Wang
4+阅读 · 2018年6月8日
Jonas Gehring,Michael Auli,David Grangier,Denis Yarats,Yann N. Dauphin
3+阅读 · 2017年7月25日
Top