第21届国际语音通讯会议(Interspeech 2020)在继2000年在北京成功举办后第二次回归中国。本次大会是由中国科学院自动化所、香港中文大学、清华大学和上海交通大学共同主办,大会主席由香港中文大学的蒙美玲教授,中国科学院自动化研究所徐波研究员和清华大学的郑方教授联合担任。受疫情影响,原计划将于10月25日~10月29日在上海召开的Interspeech 2020大会,将转为全线上会议。届时语音相关领域海内外知名专家学者将共聚一堂,交流相关研究领域的最新成果和发展趋势。

Meta Learning and Its Applications to Human Language Processing

基于深度学习的人类语言技术(HLT),如自动语音识别、意图和槽位识别或对话管理,已成为近年来的研究主流,并显著优于传统方法。然而,深度学习模型因对数据和计算的渴求而臭名昭著。这些缺点限制了此类模型在部署到不同语言、领域或风格时的应用,因为从头收集标注数据和训练模型的成本很高,而且人类语言的长尾特性使挑战变得更大。

一个典型的机器学习算法,如深度学习,可以被认为是一个复杂的函数。该函数以训练数据为输入,以训练模型为输出。今天的学习算法大多是人为设计的。这些算法通常是针对某一特定任务而设计的,需要大量带标记的训练数据进行学习。一种可能克服这些挑战的方法是元学习,也被称为“学习的学习”,旨在学习学习算法,包括更好的参数初始化、优化策略、网络架构、距离度量等。最近,在几个HLT领域,元学习已经显示出高潜力,允许更快的微调,收敛到更好的性能,并实现较少样本学习。本教程的目的是介绍元学习方法,并回顾将此技术应用于HLT的工作。

成为VIP会员查看完整内容
0
16

相关内容

Meta Learning,元学习,也叫 Learning to Learn(学会学习)。是继Reinforcement Learning(增强学习)之后又一个重要的研究分支。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

自然语言处理中的预训练模型

论文:【复旦大学】最新《预训练语言模型》2020综述论文大全,50+PTMs分类体系,25页pdf205篇参考文献

目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
0
45

ACM SIGKDD(ACM SIGKDD Conference on Knowledge Discovery and Data Mining,国际数据挖掘与知识发现大会,简称 KDD)是数据挖掘领域国际顶级学术会议,今年的KDD大会将于8月23日至27日在线上召开。宾夕法尼亚州立大学ZhenhuiLi, Huaxiu Yao, Fenglong Ma等做了关于小数据学习《Learning with Small Data》教程,116页ppt涵盖迁移学习与元学习等最新课题,是非常好的学习材料!

摘要:

在大数据时代,数据驱动的方法在图像识别、交通信号控制、假新闻检测等各种应用中越来越受欢迎。这些数据驱动方法的优越性能依赖于大规模的标记训练数据,而实际应用中可能无法获得这些数据,即“小(标记)数据”挑战。例如,预测一个城市的突发事件,发现新出现的假新闻,以及预测罕见疾病的病情发展。在大多数情况下,人们最关心的是这些小数据案例,因此提高带有小标记数据的机器学习算法的学习效率一直是一个热门的研究课题。在本教程中,我们将回顾使用小数据进行学习的最新的机器学习技术。这些技术被组织从两个方面: (1) 提供一个全面的回顾最近的研究关于知识的泛化,迁移,和共享,其中迁移学习,多任务学习,元学习被讨论。特别是元学习,提高了模型的泛化能力,近年来已被证明是一种有效的方法; (2) 引入前沿技术,着重于将领域知识融入机器学习模型中。与基于模型的知识迁移技术不同,在现实应用中,领域知识(如物理定律)为我们提供了一个处理小数据挑战的新角度。具体地说,领域知识可以用来优化学习策略和/或指导模型设计。在数据挖掘领域,我们认为小数据学习是一个具有重要社会影响的热门话题,将吸引学术界和产业界的研究者和从业者。

目录:

地址:

https://sites.psu.edu/kdd20tutorial/

成为VIP会员查看完整内容
0
9

机器学习暑期学校(MLSS)系列开始于2002年,致力于传播统计机器学习和推理的现代方法。今年因新冠疫情在线举行,从6月28号到7月10号讲述了众多机器学习主题。本文推荐来自深度学习大佬Yoshua Bengio教授讲述《深度学习教程》,104页ppt系统性讲述了深度学习基础知识和最新进展,非常干货。

Yoshua Bengio

Yoshua Bengio,蒙特利尔大学教授。Bengio 教授凭《Learning Deep Architectures for AI》、《A neural probabilistic language model》两篇经典之作在内的 300 多篇论文,对深度学习的发展起到了巨大的推动作用,他与 Geoff Hinton、Yann LeCun 两位一起造就了 2006 年始的深度学习复兴,并称深度学习三巨头。Yoshua Bengio 教授于 2017 年获得加拿大总督功勋奖。

Bengio 教授研究人工智能的动力就是发掘它的潜能,而不是对它的恐惧。他的研究成果不仅是如今 AI 热浪的基石,也是加拿大在人工智能时代占据一席领导者位置的重要原因。「要让电脑能像人类那样思考,或者起码能像人类那样理解世界,我们现在离那一步还太远」,Bengio 教授说,「但是人工智能现在的发展已经足以对经济和人类的福祉产生巨大的影响。」

深度学习 AI

深度学习指的是用计算机模拟神经元网络,以此逐渐“学会”各种任务的过程,比如识别图像、理解语音甚或是自己做决策。这项技术的基础是所谓的“人工神经网络”,它是现代人工智能的核心元素。人工神经网络和真实的大脑神经元工作方式并不完全一致,事实上它的理论基础只是普通的数学原理。但是经过训练后的人工神经网络却可以完成很多任务,比如识别照片中的人物和物体,或是在几种主要语言之间互相翻译等等。

成为VIP会员查看完整内容
0
65

内容简介:

生成对抗网络(GAN)是训练模型的新思想,生成器和鉴别器相互对抗以提高生成质量。最近,GAN在图像生成方面取得了惊人的成果,并在此基础上迸发发了大量新的思想,技术和应用。虽然只有少数成功的案例,但GAN在文本和语音领域具有很大的潜力,以克服传统方法的局限性。

本教程分为三个部分。在第一部分中,我们将介绍生成对抗网络(GAN)并提供有关此技术的全面介绍。在第二部分中,我们将重点介绍GAN在语音信号处理中的应用,包括语音增强,语音转换,语音合成,以及域对抗训练在说话人识别和唇读等方面的应用。在第三部分中,我们将描述GAN生成句子的主要挑战,并回顾一系列应对挑战的方法。同时,我们将提出使用GAN实现文本样式转换,机器翻译和抽象摘要的算法,而无需配对数据。

讲者简介: 李宏毅教授分别于2010年和2012年在国立台湾大学获得了硕士与博士学位。2012年9月至2013年8月,他是中国科学院信息技术创新研究中心的博士后。2013年9月至2014年7月,他是麻省理工学院计算机科学与人工智能实验室(CSAIL)语言系统组的访问科学家。现任国立台湾大学电气工程系助理教授,并任职于该大学计算机科学与信息工程系。他的研究重点是机器学习(尤其是深度学习),口语理解和语音识别。

曹昱副研究员分别于1999年和2001年获得台湾大学电子工程学士学位和硕士学位。他于2008年获得佐治亚理工学院电气与计算机工程博士学位. 2009至2011年,曹博士是日本国家信息与通信技术研究所(NICT)的研究员,从事自动语音研究和产品开发,识别多语言语音到语音翻译。目前,他是台湾台北中央研究院信息技术创新研究中心(CITI)的副研究员。他于2017年获得了中央研究院职业发展奖。曹博士的研究兴趣包括语音和说话人识别,声学和语言建模,音频编码和生物信号处理。

目录: GAN的基本思想及一些基础的理论知识

  • GAN的三种类别
  • GAN的基本理论
  • 一些有用的技巧
  • 如何评估GAN
  • 与强化学习的关系

GAN在语音方面的应用

  • 语音信号生成
  • 语音信号识别
  • 结论

GAN在自然语言处理方面的应用

  • GAN序列生成
  • 无监督条件序列生成
成为VIP会员查看完整内容
0
62

论文题目: Meta Learning for End-to-End Low-Resource Speech Recognition

摘要: 在本文中,我们提出将元学习方法应用于低资源的自动语音识别(ASR)。我们将不同语言的ASR表示为不同的任务,并通过最近提出的模型无关元学习算法(MAML),从许多预训练语言中学习初始化参数,以实现对未知目标语言的快速适应。我们以六种语言为训练前任务,四种语言为目标任务,对提出的方法进行了评估。初步结果表明,MetaASR方法在训练前不同语言组合的所有目标语言上显著优于目前最先进的多任务训练前方法。此外,由于MAML的模型无关性,本文也为元学习在更多语音相关应用中的应用开辟了新的研究方向。

论文作者: Jui-Yang Hsu, Yuan-Jui Chen, Hung-yi Lee

李宏毅(Hung-yi Lee)目前任台湾大学电机工程学系和电机资讯学院的助理教授,他曾于 2012 年获得台湾大学博士学位,并于 2013 年赴麻省理工学院(MIT)计算机科学和人工智能实验室(CSAIL)做访问学者。他的研究方向主要是机器学习(深度学习)和语音识别。

成为VIP会员查看完整内容
0
32
小贴士
相关论文
Harrison Wilde,Jack Jewson,Sebastian Vollmer,Chris Holmes
0+阅读 · 11月24日
Shiyuan Qiang,Yan Li,Minghui Yang,Keqin Feng
0+阅读 · 11月24日
Vitor Fortes Rey,Kamalveer Kaur Garewal,Paul Lukowicz
0+阅读 · 11月23日
Sharu Theresa Jose,Osvaldo Simeone
0+阅读 · 11月21日
Learning from Few Samples: A Survey
Nihar Bendre,Hugo Terashima Marín,Peyman Najafirad
41+阅读 · 7月30日
Advances and Open Problems in Federated Learning
Peter Kairouz,H. Brendan McMahan,Brendan Avent,Aurélien Bellet,Mehdi Bennis,Arjun Nitin Bhagoji,Keith Bonawitz,Zachary Charles,Graham Cormode,Rachel Cummings,Rafael G. L. D'Oliveira,Salim El Rouayheb,David Evans,Josh Gardner,Zachary Garrett,Adrià Gascón,Badih Ghazi,Phillip B. Gibbons,Marco Gruteser,Zaid Harchaoui,Chaoyang He,Lie He,Zhouyuan Huo,Ben Hutchinson,Justin Hsu,Martin Jaggi,Tara Javidi,Gauri Joshi,Mikhail Khodak,Jakub Konečný,Aleksandra Korolova,Farinaz Koushanfar,Sanmi Koyejo,Tancrède Lepoint,Yang Liu,Prateek Mittal,Mehryar Mohri,Richard Nock,Ayfer Özgür,Rasmus Pagh,Mariana Raykova,Hang Qi,Daniel Ramage,Ramesh Raskar,Dawn Song,Weikang Song,Sebastian U. Stich,Ziteng Sun,Ananda Theertha Suresh,Florian Tramèr,Praneeth Vepakomma,Jianyu Wang,Li Xiong,Zheng Xu,Qiang Yang,Felix X. Yu,Han Yu,Sen Zhao
14+阅读 · 2019年12月10日
Bryan Wilder,Eric Ewing,Bistra Dilkina,Milind Tambe
4+阅读 · 2019年5月31日
Yanbin Liu,Juho Lee,Minseop Park,Saehoon Kim,Eunho Yang,Sungju Hwang,Yi Yang
17+阅读 · 2018年12月25日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Peter J. Liu,Mohammad Saleh,Etienne Pot,Ben Goodrich,Ryan Sepassi,Lukasz Kaiser,Noam Shazeer
6+阅读 · 2018年1月30日
Top