元学习可以让机器学习新的算法。这是一个新兴且快速发展的机器学习研究领域,对所有人工智能研究都有影响。最近的成功案例包括自动模型发现、少枪学习、多任务学习、元强化学习,以及教机器阅读、学习和推理。正如人类不会从头开始学习新任务,而是利用之前所学的知识一样,元学习是高效和稳健学习的关键。本教程将介绍该领域及其应用的重要数学基础,包括这个领域中当前技术水平的关键方法,该领域对众多AAAI参与者来说越来越重要。

https://sites.google.com/mit.edu/aaai2021metalearningtutorial

内容目录:

  • 元学习导论
  • 多任务学习
  • 元学习
  • 自动机器学习
  • 应用
成为VIP会员查看完整内容
0
33

相关内容

近年来,在大量原始文本上预先训练的大型语言模型彻底改变了自然语言处理。现有的方法,基于因果或隐藏的语言模型的变化,现在为每一个NLP任务提供了事实上的方法。在这个演讲中,我将讨论最近在语言模型预训练方面的工作,从ELMo、GPT和BERT到更近期的模型。我的目标是对总体趋势进行广泛的报道,但提供更多关于我们最近在Facebook AI和华盛顿大学开发的模型的细节。其中特别包括序列到序列模型的预训练方法,如BART、mBART和MARGE,它们提供了一些迄今为止最普遍适用的方法。

成为VIP会员查看完整内容
0
22

什么是自动化攻击?

恶意用户不再需要分析代码、编写脚本或进行复杂的逆向编译,只要找到合适的自动化工具就能轻松达到目的。

自动化攻击包括自动化扫描漏洞和入侵、撞库盗用账号、业务自动化攻击和自动化高级DDOS攻击等。

本文提出了一种自动化对抗攻击搜索方案,名为Composite Adversarial Attacks (CAA)。我们实现了32个基础对抗攻击算法作为候选池,并设计了一个搜索空间,将攻击策略表示为一个攻击序列,即前一个攻击算法的输出作为后继攻击的初始化输入。通过使用NSGA-II遗传算法对攻击序列和攻击超参的搜索,我们可以发现更优的攻击策略并实现自动化对抗攻击。和当下10个主流攻击算法的对比实验结果表明CAA可以在更小计算复杂度的情况下获得目前最好的攻击效果。)

https://www.zhuanzhi.ai/paper/4594af42d79efb3a1090149653d332e6

成为VIP会员查看完整内容
0
7

本教程的目标读者是对帮助机器理解自然语言文本(特别是文本中描述的真实事件)的人工智能技术感兴趣的研究人员和实践者。这些方法包括提取一个事件关于其主角、参与者和属性的内部结构,以及关于多个事件的成员关系、时间和因果关系的外部结构。本教程将向读者系统地介绍(i)事件的知识表示,(ii)自动提取、概念化和预测事件及其关系的各种方法,(iii)事件过程和属性的归纳,以及(iv)大量受益于上述技术的NLU和常识理解任务。我们将概述这一领域中出现的研究问题,以此结束本教程。

https://cogcomp.seas.upenn.edu/page/tutorial.202102/

人类语言总是涉及对现实世界事件的描述。因此,对事件的理解在自然语言理解中起着至关重要的作用。例如,叙事预测可以通过学习事件的因果关系来预测故事接下来会发生什么;机器理解文件可能包括理解影响股票市场的事件,描述自然现象或识别疾病表型。事实上,事件理解在诸如开放域问题回答、意图预测、时间轴构建和文本摘要等任务中也广泛地发现了它的重要用例。由于事件不只是简单的、独立的谓词,对事件理解的前沿研究通常面临两个关键挑战。一个挑战是精确地归纳事件之间的关系,这些关系描述了事件的成员关系、共同参照、时间顺序和因果关系。另一种是理解事件的内在结构和属性,涉及其参与者、粒度、位置和时间。

在本教程中,我们将全面回顾文献中以事件为中心的知识表示的现有范式,并关注它们对NLU任务的贡献。除了介绍事件提取的部分标签和无监督学习方法外,我们还将讨论最近的约束学习和结构化推理方法,用于从文本中提取多方面的事件-事件关系。我们还将回顾最近用于事件预测任务的数据驱动方法,包括事件过程归纳和概念化,以及以事件为中心的语言模型如何有利于叙事预测。此外,我们将说明远程监督的方法如何帮助解决对事件的时间和因果常识的理解,以及如何应用它们来构建大规模的可能性知识库。与会者将了解该主题的最新趋势和新出现的挑战,获得现成模型的代表性工具和学习资源,以及相关模型和技术如何有利于最终使用的NLU应用。

成为VIP会员查看完整内容
0
17

社交网络和分子图等结构化的图形数据在现实世界中随处可见。设计先进的图结构数据表示学习算法,促进下游任务的完成,具有重要的研究意义。图神经网络(GNNs)将深度神经网络模型推广到图结构数据,为从节点级或图级有效学习图结构数据表示开辟了一条新途径。由于其强大的表示学习能力,GNN在从推荐、自然语言处理到医疗保健等各种应用中获得了实际意义。近年来,它已成为一个热门的研究课题,越来越受到机器学习和数据挖掘界的关注。本教程涵盖了相关和有趣的主题,包括使用GNNs在图结构数据上的表示学习、GNNs的鲁棒性、GNNs的可扩展性和基于GNNs的应用程序。

目录内容: 引言 Introduction 基础 Foundations 模型 Models 应用 Applications

http://cse.msu.edu/~mayao4/tutorials/aaai2021/

成为VIP会员查看完整内容
0
51

第21届国际语音通讯会议(Interspeech 2020)在继2000年在北京成功举办后第二次回归中国。本次大会是由中国科学院自动化所、香港中文大学、清华大学和上海交通大学共同主办,大会主席由香港中文大学的蒙美玲教授,中国科学院自动化研究所徐波研究员和清华大学的郑方教授联合担任。受疫情影响,原计划将于10月25日~10月29日在上海召开的Interspeech 2020大会,将转为全线上会议。届时语音相关领域海内外知名专家学者将共聚一堂,交流相关研究领域的最新成果和发展趋势。

Meta Learning and Its Applications to Human Language Processing

基于深度学习的人类语言技术(HLT),如自动语音识别、意图和槽位识别或对话管理,已成为近年来的研究主流,并显著优于传统方法。然而,深度学习模型因对数据和计算的渴求而臭名昭著。这些缺点限制了此类模型在部署到不同语言、领域或风格时的应用,因为从头收集标注数据和训练模型的成本很高,而且人类语言的长尾特性使挑战变得更大。

一个典型的机器学习算法,如深度学习,可以被认为是一个复杂的函数。该函数以训练数据为输入,以训练模型为输出。今天的学习算法大多是人为设计的。这些算法通常是针对某一特定任务而设计的,需要大量带标记的训练数据进行学习。一种可能克服这些挑战的方法是元学习,也被称为“学习的学习”,旨在学习学习算法,包括更好的参数初始化、优化策略、网络架构、距离度量等。最近,在几个HLT领域,元学习已经显示出高潜力,允许更快的微调,收敛到更好的性能,并实现较少样本学习。本教程的目的是介绍元学习方法,并回顾将此技术应用于HLT的工作。

成为VIP会员查看完整内容
0
22

【导读】本文为大家带来了一份斯坦福大学的最新课程CS330——深度多任务和元学习,主讲人是斯坦福大学Chelsea Finn,她是斯坦福大学计算机科学与电气工程系的助理教授,元学习大牛。

她的博士论文——基于梯度的元学习(Learning to Learn with Gradients)很值得一读,该论文系统性地阐述了Meta Learning以及她提出的MAML的方法和相关改进。作者从Meta Learning问题出发,然后提出了MAML理论,再进行一系列基于该理论的应用尝试。

尽管深度学习在图像分类、语音识别和游戏等有监督和强化学习问题上取得了显著的成功,但这些模型在很大程度上是专门用于训练它们的单一任务的。本课程将涵盖需要解决多个任务的环境,并研究如何利用多个任务产生的结构来更有效地学习。

介绍

尽管深度学习在图像分类、语音识别和游戏等有监督和强化学习问题上取得了显著的成功,但这些模型在很大程度上是专门用于训练它们的单一任务的。本课程将涵盖需要解决多个任务的环境,并研究如何利用多个任务产生的结构来更有效地学习。

**这包括: ** 以目标为条件的强化学习技术,它利用所提供的目标空间的结构来快速地学习多个任务; 元学习方法旨在学习可以快速学习新任务的高效学习算法; 课程和终身学习,其中问题需要学习一系列任务,并利用它们的共享结构来实现知识转移。

这是一门研究生水平的课程。在课程结束时,学生将能够理解和实施最先进的多任务学习和元学习算法,并准备对这些主题进行研究。

课程链接: https://cs330.stanford.edu/

课程安排

课程安排

01: 课程介绍,问题定义,应用(Course introduction, problem definitions, applications) 02:有监督的多任务学习,黑盒元学习(Supervised multi-task learning, black-box meta-learning) 03:TensorFlow教程(TensorFlow tutorial) 04:基于优化的元学习(Optimization-based meta-learning) 05:通过度量学习进行少量学习(Few-shot learning via metric learning) 06:贝叶斯元学习(Bayesian meta-learning) 07:强化学习入门,多任务RL,目标条件RL(Renforcement learning primer, multi-task RL, goal-conditioned RL) 08:Meta-RL,学习探索(Meta-RL, learning to explore) 09:用于多任务学习的基于模型的RL,基于元模型的RL(Model-based RL for multi-task learning, meta model-based RL) 10:终身学习:问题陈述,前后迁移(Lifelong learning: problem statement, forward & backward transfer) 11:前沿: 记忆,无监督元学习,开放性问题(Frontiers: Memorization, unsupervised meta-learning, open problems)

成为VIP会员查看完整内容
0
31

不确定性的概念在机器学习中是非常重要的,并且构成了现代机器学习方法论的一个关键元素。近年来,由于机器学习与实际应用的相关性越来越大,它的重要性也越来越大,其中许多应用都伴随着安全要求。在这方面,机器学习学者们发现了新的问题和挑战,需要新的方法发展。事实上,长期以来,不确定性几乎被视为标准概率和概率预测的同义词,而最近的研究已经超越了传统的方法,也利用了更一般的形式主义和不确定性计算。例如,不确定性的不同来源和类型之间的区别,例如任意不确定性和认知不确定性,在许多机器学习应用中被证明是有用的。讲习班将特别注意这方面的最新发展。

综述论文:

不确定性的概念在机器学习中是非常重要的,并且构成了机器学习方法的一个关键元素。按照统计传统,不确定性长期以来几乎被视为标准概率和概率预测的同义词。然而,由于机器学习与实际应用和安全要求等相关问题的相关性稳步上升,机器学习学者最近发现了新的问题和挑战,而这些问题可能需要新的方法发展。特别地,这包括区分(至少)两种不同类型的不确定性的重要性,通常被称为任意的和认知的。在这篇论文中,我们提供了机器学习中的不确定性主题的介绍,以及到目前为止在处理一般不确定性方面的尝试的概述,并特别将这种区别形式化。

https://www.zhuanzhi.ai/paper/8329095368761f81a7849fe5457949ed

成为VIP会员查看完整内容
0
46

本教程对基于模型的强化学习(MBRL)领域进行了广泛的概述,特别强调了深度方法。MBRL方法利用环境模型来进行决策——而不是将环境视为一个黑箱——并且提供了超越无模型RL的独特机会和挑战。我们将讨论学习过渡和奖励模式的方法,如何有效地使用这些模式来做出更好的决策,以及规划和学习之间的关系。我们还强调了在典型的RL设置之外利用世界模型的方式,以及在设计未来的MBRL系统时,从人类认知中可以得到什么启示。

https://sites.google.com/view/mbrl-tutorial

近年来,强化学习领域取得了令人印象深刻的成果,但主要集中在无模型方法上。然而,社区认识到纯无模型方法的局限性,从高样本复杂性、需要对不安全的结果进行抽样,到稳定性和再现性问题。相比之下,尽管基于模型的方法在机器人、工程、认知和神经科学等领域具有很大的影响力,但在机器学习社区中,这些方法的开发还不够充分(但发展迅速)。它们提供了一系列独特的优势和挑战,以及互补的数学工具。本教程的目的是使基于模型的方法更被机器学习社区所认可和接受。鉴于最近基于模型的规划的成功应用,如AlphaGo,我们认为对这一主题的全面理解是非常及时的需求。在教程结束时,观众应该获得:

  • 数学背景,阅读并跟进相关文献。
  • 对所涉及的算法有直观的理解(并能够访问他们可以使用和试验的轻量级示例代码)。
  • 在应用基于模型的方法时所涉及到的权衡和挑战。
  • 对可以应用基于模型的推理的问题的多样性的认识。
  • 理解这些方法如何适应更广泛的强化学习和决策理论,以及与无模型方法的关系。
成为VIP会员查看完整内容
0
67

最近的研究表明,预训练文本表示能够显著提高许多自然语言处理任务的性能。训练的中心目标是学习对后续任务有用的文本表示形式。然而,现有的方法是通过最小化代理目标(如语言建模的负日志可能性)来优化的。在这项工作中,我们介绍了一个学习算法,它直接优化模型学习文本表示的能力,以有效地学习下游任务。我们证明了多任务预训练和模型不可知的元学习之间有着内在的联系。BERT中采用的标准多任务学习目标是元训练深度为零的学习算法的一个特例。我们在两种情况下研究了这个问题:无监督的预训练和有监督的预训练,不同的预训练对象验证了我们的方法的通用性。实验结果表明,我们的算法对各种下游任务进行了改进,获得了更好的初始化。

成为VIP会员查看完整内容
0
27
小贴士
相关主题
相关论文
Lu Liu,William Hamilton,Guodong Long,Jing Jiang,Hugo Larochelle
5+阅读 · 2020年9月2日
Ningyu Zhang,Zhanlin Sun,Shumin Deng,Jiaoyan Chen,Huajun Chen
3+阅读 · 2019年8月22日
Sergey Edunov,Alexei Baevski,Michael Auli
3+阅读 · 2019年4月1日
Joaquin Vanschoren
105+阅读 · 2018年10月8日
Chengxiang Yin,Jian Tang,Zhiyuan Xu,Yanzhi Wang
4+阅读 · 2018年6月8日
Ray Jiang,Sven Gowal,Timothy A. Mann,Danilo J. Rezende
4+阅读 · 2018年4月9日
Fang Yuan,Zhe Wang,Jie Lin,Luis Fernando D'Haro,Kim Jung Jae,Zeng Zeng,Vijay Chandrasekhar
4+阅读 · 2017年11月6日
Top