新加坡南洋理工最新37页《零样本学习综述》论文

2019 年 2 月 27 日 专知
新加坡南洋理工最新37页《零样本学习综述》论文

【导读】近年来,零样本学习(ZSL,zero-shot learning)已经在大量的任务中受到了广泛的关注。本文为大家带来了南洋理工大学的零样本学习最新综述,希望对大家有所帮助。


介绍:


大多数机器学习方法,均侧重于那些训练集中广泛存在的样本进行分类。但现实场景中,许多的任务需要对从未见过的样本进行分类。零样本学习是一种非常强大的学习范式,在本文中,我们为零样本学习提供一个全面的调研综述。首先,我们概述了零样本学习,根据学习过程中使用到的数据模型,我们将其划分为三种学习类型;第二,我们描述了零样本学习过程中所采用的不同语义空间;第三,我们对现有零样本学习方法进行了分类,并在每个类别下介绍了具有代表性的方法;第四,我们讨论了零样本学习的不同应用方向;最后,我们介绍了零样本学习的未来研究方向。


监督分类方法在研究中取得了巨大的成功,并应用于许多领域之内。但在这种学习范式下,存在着一些明显的限制。比如,在监督分类中,需要充分的标记训练样本,并且,最终学习到的分类器只能对包含于训练集内的样本进行分类,而无法对未曾见过的样本类进行处理。然而,在实际应用中,每个任务可能并没有足够的训练样本存在,难以支持常规的分类任务。


为了解决这一问题,目前已有多个研究团队提出相应的研究思路,如少样本学习、单样本学习等。在这些方法中,会利用其他类别样本中所学习到的知识,应用于样本较少类的分类过程中。对于上述学习范式下的方法,仍难以解决从未出现过相应样本的类别处理过程,而这却是实际应用中常常面临的问题所在。


在零样本学习中,特征空间内存在着一些标注过的训练数据样本,它们属于“已知类别”,除此之外,还存在着一些未标注的测试样本,属于“未知类别“。上述特征空间一般是实值空间,并且每一个样本均被表示成一个空间中的特征向量而存在。


一般的零样本学习思路是,将训练集中的特征知识迁移至测试样本的分类任务上,因此可以认为,零样本学习是迁移学习的一个子领域。在迁移学习中,源域的知识被迁移至目标域的任务中。根据源域与目标域的标签空间是否一致,迁移学习可以被分类为同构迁移学习(homogeneous transfer learning)或异构迁移学习(heterogeneous transfer learning)。


一般来说,为了解决零样本学习问题,必须要使用到辅助信息。此类辅助信息需要包括所有”未知类别“,同时,这些辅助信息需要与特征空间相关联,以保证此类辅助信息的可用性等。


下图简要介绍了本综述中的方法分类,以及各类方法的优缺点。


语义空间与不同的方法类别


各类零样本方法的优劣对比


原文链接:

https://doi.org/10.1145/3293318


 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“SZSL” 就可以获取最新论文的下载链接~ 


附论文原文:

-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!480+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
87

相关内容

零样本学习是AI识别方法之一。简单来说就是识别从未见过的数据类别,即训练的分类器不仅仅能够识别出训练集中已有的数据类别,还可以对于来自未见过的类别的数据进行区分。这是一个很有用的功能,使得计算机能够具有知识迁移的能力,并无需任何训练数据,很符合现实生活中海量类别的存在形式。

最近深度神经网络已经在监督识别任务上取得了令人振奋的突破,但是深度神经网络要求每个类都有足够 多的且完全标注的训练数据。如何从少数训练样本中学习并识别新的类别,对于深度神经网络来说是一个具有挑战性的问题。针对如何解决少样本学习的问题,全面总结了现有的基于深度神经网络的少样本学习方法,涵盖了方法 所用模型、数据集及评估结果等各个方面。具体地,针对基于深度神经网络的少样本学习方法,提出将其分为四种 类别,即数据增强方法、迁移学习方法、度量学习方法和元学习的方法;对于每个类别,进一步将其分为几个子类 别,并且在每个类别与方法之间进行一系列比较,以显示各种方法的优劣和各自的特点。最后,强调了现有方法的局限性,并指出了少样本学习研究领域的未来研究方向。

成为VIP会员查看完整内容
0
103

【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类,基于先验知识等,只基于少量的样本就可以进行学习。本文介绍34页小样本学习综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》,包含166篇参考文献,来自第四范式和香港科技大学习的研究学者。

小样本学习综述 Few-shot Learning: A Survey

【摘要】机器学习在数据密集型应用中非常成功,但当数据集很小时,它常常受到阻碍。为了解决这一问题,近年来提出了小样本学习(FSL)。利用先验知识,FSL可以快速地泛化到只包含少量有监督信息的样本的新任务中。在这篇论文中,我们进行了一个彻底的调研,以充分了解FSL。从FSL的正式定义出发,我们将FSL与几个相关的机器学习问题区分开来。然后指出了FSL的核心问题是经验风险最小化是不可靠的。基于先验知识如何处理这一核心问题,我们从三个角度对FSL方法进行了分类: (i) 数据,它使用先验知识来增加监督经验;(二) 利用先验知识缩小假设空间大小的模型;(iii)算法,利用先验知识在给定的假设空间中改变对最佳假设的搜索。有了这种分类法,我们就可以回顾和讨论每个类别的优缺点。在FSL问题的设置、技术、应用和理论方面也提出了有前景的方向,为未来的研究提供了见解。

  • 我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括,包括所有现有的FSL -shot Learning: A Survey problems,而且足够具体,明确了什么是FSL的目标,以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。

  • 指出了基于误差分解的FSL在机器学习中的核心问题。我们发现,正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是,这为更有组织和系统地改进FSL方法提供了见解。

  • 我们对从FSL诞生到最近发表的文献进行了广泛的回顾,并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。

  • 我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处,并有可能在未来进行探索。我们希望这部分能够提供一些见解,为解决FSL问题做出贡献,为真正的AI而努力。

  • 与已有的关于小样本概念学习和经验学习的FSL相关调相比,我们给出了什么是FSL,为什么FSL很难,以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊,总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别

成为VIP会员查看完整内容
0
144

命名实体识别(NER)的任务是识别提到命名实体的文本范围,并将它们分类为预定义的类别,如人员、位置、组织等。NER是各种自然语言应用的基础,如问题回答、文本摘要和机器翻译。虽然早期的NER系统能够成功地产生相当高的识别精度,但它们通常需要大量的人力来精心设计规则或特征。近年来,基于连续实值向量表示和通过非线性处理的语义组合的深度学习被应用到NER系统中,产生了最先进的性能。在这篇论文中,我们对现有的深度学习技术进行了全面的回顾。我们首先介绍NER资源,包括标记的NER语料库和现成的NER工具。然后,我们根据一个分类法沿着三个轴对现有的作品进行了系统的分类:输入的分布式表示、上下文编码器和标记解码器。接下来,我们调查了最近在新的NER问题设置和应用中应用深度学习技术的最有代表性的方法。最后,我们向读者介绍NER系统所面临的挑战,并概述该领域的未来发展方向。

成为VIP会员查看完整内容
0
67

题目: Network Representation Learning: A Survey

摘要:

随着信息技术的广泛应用,信息网络越来越受到人们的欢迎,它可以捕获各种学科之间的复杂关系,如社交网络、引用网络、电信网络和生物网络。对这些网络的分析揭示了社会生活的不同方面,如社会结构、信息传播和交流模式。然而,在现实中,大规模的信息网络往往使网络分析任务计算昂贵或难以处理。网络表示学习是近年来提出的一种新的学习范式,通过保留网络拓扑结构、顶点内容和其它边信息,将网络顶点嵌入到低维向量空间中。这有助于在新的向量空间中方便地处理原始网络,以便进行进一步的分析。在这项调查中,我们全面回顾了目前在数据挖掘和机器学习领域的网络表示学习的文献。我们提出了新的分类法来分类和总结最先进的网络表示学习技术,根据潜在的学习机制、要保留的网络信息、以及算法设计和方法。我们总结了用于验证网络表示学习的评估协议,包括已发布的基准数据集、评估方法和开源算法。我们还进行了实证研究,以比较代表性的算法对常见数据集的性能,并分析其计算复杂性。最后,我们提出有希望的研究方向,以促进未来的研究。

作者简介:

Xingquan Zhu是佛罗里达大西洋大学计算机与电气工程和计算机科学系的教授,在中国上海复旦大学获得了计算机科学博士学位。曾在多家研究机构和大学工作过,包括微软亚洲研究院(实习)、普渡大学、佛蒙特大学和悉尼科技大学。主要研究方向:数据挖掘、机器学习、多媒体系统、生物信息学。

成为VIP会员查看完整内容
0
61

基于神经网络的深度学习方法往往需要大量标注样本,而在很多领域往往是缺乏充足样本数据的,比如在医疗领域,高质量的医疗影像大数据样本很难获取,且人工标注成本较高。因此,亟待研究基于小样本数据集或弱标签标注的机器学习方法。最近,齐国君和罗杰波两位知名学者在ArXiv发布了关于小样本数据集的无监督与半监督学习综述论文,12页103篇参考文献,详细阐述了最新进展。

成为VIP会员查看完整内容
Small Data Challenges in Big Data Era A Survey of Recent Progress on Unsupervised and Semi-Supervised Methods.pdf
0
89

Deep Learning based Recommender System: A Survey and New Perspectives

随着在线信息量的不断增长,推荐系统已成为克服此类信息过载的有效策略。鉴于其在许多网络应用中的广泛采用,以及其改善与过度选择相关的许多问题的潜在影响,推荐系统的实用性不容小觑。近年来,深度学习在计算机视觉和自然语言处理等许多研究领域引起了相当大的兴趣,不仅归功于出色的表现,而且还具有从头开始学习特征表征的吸引人的特性。深度学习的影响也很普遍,最近证明了它在应用于信息检索和推荐系统研究时的有效性。显然,推荐系统中的深度学习领域正在蓬勃发展。本文旨在全面回顾最近基于深度学习的推荐系统的研究工作。更具体地说,我们提供并设计了基于深度学习的推荐模型的分类,并提供了最新技术的综合摘要。最后,我们扩展了当前的趋势,并提供了有关该领域新的令人兴奋的发展的新观点。

成为VIP会员查看完整内容
0
120
小贴士
相关VIP内容
专知会员服务
139+阅读 · 2020年7月10日
专知会员服务
103+阅读 · 2020年4月22日
最新《分布式机器学习》论文综述最新DML进展,33页pdf
专知会员服务
60+阅读 · 2019年12月26日
零样本图像分类综述 : 十年进展
专知会员服务
77+阅读 · 2019年11月16日
南洋理工大学,深度学习推荐系统综述
专知会员服务
120+阅读 · 2019年10月14日
相关论文
One-Shot Federated Learning
Neel Guha,Ameet Talwalkar,Virginia Smith
7+阅读 · 2019年3月5日
Yixin Cao,Xiang Wang,Xiangnan He,Zikun hu,Tat-Seng Chua
5+阅读 · 2019年2月17日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
8+阅读 · 2018年10月18日
Next Item Recommendation with Self-Attention
Shuai Zhang,Yi Tay,Lina Yao,Aixin Sun
4+阅读 · 2018年8月25日
Learning to Focus when Ranking Answers
Dana Sagi,Tzoof Avny,Kira Radinsky,Eugene Agichtein
3+阅读 · 2018年8月8日
Stephen Bonner,Flavian Vasile
17+阅读 · 2018年8月3日
Maartje ter Hoeve,Anne Schuth,Daan Odijk,Maarten de Rijke
5+阅读 · 2018年5月14日
Tran Dang Quang Vinh,Tuan-Anh Nguyen Pham,Gao Cong,Xiao-Li Li
12+阅读 · 2018年4月18日
Armand Joulin,Edouard Grave,Piotr Bojanowski,Maximilian Nickel,Tomas Mikolov
3+阅读 · 2017年10月30日
Andrew K. Lampinen,James L. McClelland
5+阅读 · 2017年10月27日
Top