大样本靠机器学习,小样本用知识推理。近年来,知识图谱在低资源、小样本场景下的作用和价值得到越来越多的关注。特别的,知识驱动的零样本学习技术引起了学者们较多关注,即借助语义知识(辅助信息)让机器学习模型在缺少训练数据的情况下解决样本标签的预测问题。本文将介绍浙江大学与牛津大学、爱丁堡大学近期在知识驱动的零样本学习方面的两篇合作工作,其中一篇是综述文章,发表于IJCAI 2021 Survey Track,在这篇文章中,我们对零样本学习的问题、方法和应用做了总结。特别地,我们对现有工作中涉及的语义知识进行了总结、分析和比较,探讨符号化知识对于零样本学习等机器学习任务的重要作用和研究潜力。另外一篇工作为社区贡献了开放资源及K-ZSL评测数据集,为零样本及低资源学习方法提供新的研究思路和数据评测驱动力。我们希望以这类知识驱动的零样本学习技术及迁移学习技术为基石,探索有效的神经符号集成模式(Neural-Symbolic Integration),促进相关领域的研究进步。

前言:知识驱动的零样本学习

近年来,深度学习技术依托强大的计算资源、复杂的神经网络和大规模的标注数据集在视觉、语言、医学、金融等广泛的研究领域取得了显著的成就。然而,在现实应用场景中,尤其是在开放世界的背景假设下,随时会有一些新的概念/对象出现,持续地为这些新概念/对象收集样本并进行标注是极为不现实的。因此,研究人员提出了零样本学习(Zero-shot Learning, ZSL)的概念,用于处理没有标注样本的情况下概念/对象的预测问题,以解决现有的深度学习模型尤其是有监督学习模型对大量标注数据(即训练样本)的依赖。

借助一个直观的例子,我们首先对ZSL的工作原理做一个简单的介绍:某动物园内,小明在爸爸的带领下先后认识了马、老虎和熊猫三种动物,随后爸爸让小明在动物园里找一种之前从未见过的动物,叫斑马,并告诉了小明关于斑马的信息:“斑马的体型很像马,它身上还有像老虎一样的条纹,而且它像熊猫一样是黑色色的”。最后,小明根据爸爸的提示,在动物园里找到了斑马。 上述例子是一个典型的人类推理的过程——利用常识或者某个领域的专业知识(马、老虎、熊猫和斑马的描述),在脑海里推理出新对象的具体形态,从而对新对象进行辨认。ZSL所做的正是模仿人的这种推理能力,依赖一些对象间的语义联系,将模型在有标注样本的、训练过的对象(Seen Object,即上述例子中的马、老虎、熊猫)上学习到的特征迁移到没有标注样本、未在训练集中出现过的新对象(Unseen Object,即斑马)上,从而解决这些没有训练样本的对象的预测问题。 图片

知识驱动的零样本学习

对象间的语义联系通常依赖一些外部知识建立,如自然语言文本,这些外部知识从另一维度对象进行了描述(区别于对象的样本),且相比于标注样本更容易获取(如百科知识、在线语料)。其他的一些领域特定的语义知识如属性描述、类别层次等描述了领域内概念间的关系,为该领域的零样本预测问题提供了帮助。

成为VIP会员查看完整内容
34

相关内容

零样本学习是AI识别方法之一。简单来说就是识别从未见过的数据类别,即训练的分类器不仅仅能够识别出训练集中已有的数据类别,还可以对于来自未见过的类别的数据进行区分。这是一个很有用的功能,使得计算机能够具有知识迁移的能力,并无需任何训练数据,很符合现实生活中海量类别的存在形式。
专知会员服务
16+阅读 · 2021年7月18日
【WWW2021】本体增强零样本学习
专知会员服务
32+阅读 · 2021年2月26日
专知会员服务
47+阅读 · 2020年12月26日
专知会员服务
200+阅读 · 2020年12月5日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
专知会员服务
25+阅读 · 2020年9月9日
专知会员服务
36+阅读 · 2020年8月19日
【ACMMM2020-北航】协作双路径度量的小样本学习
专知会员服务
28+阅读 · 2020年8月11日
新加坡南洋理工最新37页《零样本学习综述》论文
专知会员服务
109+阅读 · 2019年10月20日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
77+阅读 · 2019年10月12日
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
【NER综述】近五年中文电子病历命名实体识别研究进展
深度学习自然语言处理
11+阅读 · 2020年8月24日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
11+阅读 · 2019年2月26日
综述 | 事件抽取及推理 (下)
开放知识图谱
38+阅读 · 2019年1月14日
Arxiv
6+阅读 · 2019年7月29日
Arxiv
3+阅读 · 2018年6月19日
VIP会员
相关VIP内容
专知会员服务
16+阅读 · 2021年7月18日
【WWW2021】本体增强零样本学习
专知会员服务
32+阅读 · 2021年2月26日
专知会员服务
47+阅读 · 2020年12月26日
专知会员服务
200+阅读 · 2020年12月5日
多模态视觉语言表征学习研究综述
专知会员服务
185+阅读 · 2020年12月3日
专知会员服务
25+阅读 · 2020年9月9日
专知会员服务
36+阅读 · 2020年8月19日
【ACMMM2020-北航】协作双路径度量的小样本学习
专知会员服务
28+阅读 · 2020年8月11日
新加坡南洋理工最新37页《零样本学习综述》论文
专知会员服务
109+阅读 · 2019年10月20日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
77+阅读 · 2019年10月12日
相关资讯
多模态视觉语言表征学习研究综述
专知
25+阅读 · 2020年12月3日
【NER综述】近五年中文电子病历命名实体识别研究进展
深度学习自然语言处理
11+阅读 · 2020年8月24日
自然语言处理中注意力机制综述
黑龙江大学自然语言处理实验室
11+阅读 · 2019年2月26日
综述 | 事件抽取及推理 (下)
开放知识图谱
38+阅读 · 2019年1月14日
微信扫码咨询专知VIP会员