主题: Sixth Workshop on NLP for Similar Languages, Varieties and Dialects

会议简介:

VarDial 2019将与NAACL 2019共同位于美国明尼阿波利斯。该研讨会将于2019年6月7日举行。VarDial是一个完善的系列研讨会,旨在为从事与从计算角度研究非特应性语言变异相关的一系列主题的学者提供一个论坛。该研讨会专题讨论与计算方法和语言资源密切相关的语言、语言变种和方言。

主讲嘉宾:

David Yarowsky目前是约翰斯·霍普金斯大学计算机科学系教授,基础研究包括跨语言信息投影、跨域知识转移、Co-training、主动学习和随机计算、来自多个知识来源的创造性引导,应用于机器翻译和自然语言处理。个人主页:https://www.cs.jhu.edu/~yarowsky/

成为VIP会员查看完整内容
0
3

相关内容

语言变体是社会语言学研究的重要课题。R.A.赫德森(Richard Hudson)把语言变体定语为“社会分布相似的一套语项”。意指是由具备相同社会特征的人在相同的社会环境中所普遍使用的某种语言表现形式。“语言变体”是一个内涵很宽泛的概念,大至一种语言的各种方言,小至一种方言中某一项语音、词汇或句法特征,只要有一定的社会分布的范围,就是一种语言变体。 语言的变体受到复杂的社会因素制约,社会语言学对语言变体的研究一般认为,讲话人的社会阶级(Class)和讲话风格(Style)是语言变体的重要基础,而讲话人的性别对语言变体也产生重要影响。根据使用者来划分的变体叫方言,根据语言使用来划分的变体叫语体或语域。

简介: 许多人工智能任务需要跨域决策。例如,许多NLP任务涉及跨多种语言的预测,其中不同语言可以被视为不同的领域;在人工智能辅助的生物医学研究中,药物副作用的预测通常与蛋白质和生物体相互作用的建模并行。为了支持机器学习模型来解决这类跨域任务,需要提取不同域中数据组件的特征和关系,并在统一的表示方案中捕获它们之间的关联。针对这一需求,表示学习的最新进展往往涉及到将不同域的未标记数据映射到共享嵌入空间。这样,就可以通过向量配置或变换来实现跨领域的知识转移。这种可转移的表示在涉及跨域决策的一系列人工智能应用中取得了成功。然而,这一领域的前沿研究面临着两大挑战。一是在学习资源很少的情况下,有效地从特定领域提取特征。另一种方法是在最少的监督下精确地对齐和传输知识,因为连接在不同域之间的对齐信息常常是不足的和有噪声的。在本教程中,我们将全面回顾可转移表示学习方法的最新发展,重点是针对文本、多关系和多媒体数据的方法。除了介绍域内嵌入学习方法外,我们还将讨论各种半监督、弱监督、多视图和自监督学习技术,以连接多个特定域的嵌入表示。我们还将比较域内嵌入学习和跨域对齐学习的改进和联合学习过程。此外,我们将讨论如何利用获得的可转移表示来解决低资源和无标签的学习任务。参与者将了解本主题的最新趋势和新挑战,获得现成模型的代表性工具和学习资源,以及相关模型和技术如何有利于现实世界的人工智能应用。

主讲人简介: Muhao Chen,博士后。他于2019年获得加州大学洛杉矶分校计算机科学博士学位。他的研究重点是结构化和非结构化数据的数据驱动机器学习方法,并将其应用扩展到自然语言理解、知识库构建、计算生物学和医学信息学。特别是,他感兴趣的是开发具有概括性且需要最少监督的知识感知学习系统。他的工作在主要会议和期刊上发表了30多篇文章。他的论文研究获得了加州大学洛杉矶分校的论文奖学金。个人主页:https://muhaochen.github.io/

成为VIP会员查看完整内容
0
40

教程题目:Unsupervised Cross-Lingual Representation Learning

教程简介

在本教程中,将会对弱监督、无监督跨语言词表征领域的最新最前沿成果进行一次完整的综述。在简要介绍了监督跨语言词表示的历史之后,重点介绍以下内容:

  1. 如何在资源非常有限以至于无法保证双语监督的情况下引入弱监督以及无监督的跨语言词表征;
  2. 在无监督方法无法高效运行的情况下检验不同训练条件和要求的效果;
  3. 用于弱关联性语言之间的更鲁棒的方法能够改善不稳定以及表现不佳的问题;
  4. 如何综合评价这种表述;
  5. 介绍能从跨语言词表征中获得收益的实际应用(如MT、对话、跨语言序列标记和结构化预测应用、跨语言IR)

组织者:

Sebastian Ruder是伦敦DeepMind的一名研究科学家。在Insight数据分析研究中心完成了自然语言处理和深度学习的博士学位,同时在柏林的文本分析初创公司AYLIEN担任研究科学家。

Anders Søgaard是哥本哈根大学计算机科学自然语言处理与机器学习教授,同时是柏林谷歌的访问科学家。

Ivan Vulić目前担任剑桥大学词汇项目(2015-2020年跨语言词汇习得)的高级研究员。在库鲁汶大学获得了计算机科学博士学位,研究兴趣是自然语言处理、人类语言理解、机器学习理论和应用,信息检索,主要在多语言/跨语言和多模式设置,包括(但不限于)双语词典提取和跨语言语义建模、跨语言和多语言信息检索,分布语义,跨语言文本挖掘和知识转移,语言基础和认知建模的语言,词汇获取、文本表示学习、潜在主题模型、文本数据的概率建模、术语挖掘和对齐、机器翻译、资源稀缺语言的无监督技术、多习惯用法和多模态信息搜索和检索、多模态和视觉/感知增强语义等。

成为VIP会员查看完整内容
Unsupervised Cross-lingual Learning.pdf
0
13

教程题目:Deep Bayesian Natural Language Processing

教程简介

这个教学讲座将会介绍用于自然语言处理的深度贝叶斯学习的发展,以及它在语音识别、文本总结、文本分类、文本分割、信息提取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、问答、机器翻译等等许多任务中的广泛应用。传统上,“深度学习”被认为是一个基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的词汇、句子、实体、动作和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能没有被正确分解或估计。

本教程介绍了统计模型和神经网络的基础知识,并将重点讲解一系列高级的贝叶斯模型以及深度模型。这些模型之间的联系、能在自然语言的许多符号化表示和复杂模式中发挥作用的原因也会得到介绍。我们将介绍这些模型是如何连接的,以及它们为什么适用于自然语言中符号和复杂模式的各种应用程序。

为解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚被语言和语义约束合并。提出了一系列的案例研究来解决深度贝叶斯学习和理解中的不同问题。最后,指出了一些未来研究的方向和展望。

组织者:

Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
[2019] ACL tutorial-Deep Bayesian Natural Language Processing.pdf
0
36

课程介绍:

本课程介绍用于自然语言处理(NLP)的深度学习(DL)技术。与其他DL4NLP课程相反,我们将在一些讲座中对所有神经体系结构(例如CNN,RNN,注意力)进行一次旋风之旅。 然后,我们将在使用贝叶斯和马尔可夫网络学习结构化预测方面做出巨大的努力,并应用顺序标注,句法解析和句子生成。 在这个过程中,我们还将看到如何将这些传统方法与简单的神经网络相结合并加以改进。

主讲人:

Lili Mou博士是阿尔伯塔大学计算机科学系的助理教授。Lili分别于2012年和2017年在北京大学EECS学院获得了学士和博士学位。之后,他在滑铁卢大学(University of Waterloo)担任博士后,并在Adeptmind(加拿大多伦多的一家初创公司)担任研究科学家。他的研究兴趣包括应用于自然语言处理以及编程语言处理的深度学习。他在顶级会议和期刊上都有出版物,包括AAAI,ACL,CIKM,COLING,EMNLP,ICASSP,ICML,IJCAI,INTERSPEECH,NAACL-HLT和TACL(按字母顺序)。

课程大纲:

神经网络基础

  • 分类任务与分类器
  • 深度神经网络
  • Embedding
  • 结构化输入表示

结构化预测

  • 贝叶斯网络
  • 马尔科夫网络与条件随机场
  • 语法解析

句子生成

  • 变分自编码器
  • 抽样与随机搜索

离散空间

  • NLP中的强化学习
  • 强化学习的神经松弛
成为VIP会员查看完整内容
0
15

Lack of repeatability and generalisability are two significant threats to continuing scientific development in Natural Language Processing. Language models and learning methods are so complex that scientific conference papers no longer contain enough space for the technical depth required for replication or reproduction. Taking Target Dependent Sentiment Analysis as a case study, we show how recent work in the field has not consistently released code, or described settings for learning methods in enough detail, and lacks comparability and generalisability in train, test or validation data. To investigate generalisability and to enable state of the art comparative evaluations, we carry out the first reproduction studies of three groups of complementary methods and perform the first large-scale mass evaluation on six different English datasets. Reflecting on our experiences, we recommend that future replication or reproduction experiments should always consider a variety of datasets alongside documenting and releasing their methods and published code in order to minimise the barriers to both repeatability and generalisability. We have released our code with a model zoo on GitHub with Jupyter Notebooks to aid understanding and full documentation, and we recommend that others do the same with their papers at submission time through an anonymised GitHub account.

0
8
下载
预览
小贴士
相关VIP内容
【课程推荐】普林斯顿陈丹琦COS 484: 自然语言处理课程
专知会员服务
67+阅读 · 2019年12月11日
相关论文
Advances and Open Problems in Federated Learning
Peter Kairouz,H. Brendan McMahan,Brendan Avent,Aurélien Bellet,Mehdi Bennis,Arjun Nitin Bhagoji,Keith Bonawitz,Zachary Charles,Graham Cormode,Rachel Cummings,Rafael G. L. D'Oliveira,Salim El Rouayheb,David Evans,Josh Gardner,Zachary Garrett,Adrià Gascón,Badih Ghazi,Phillip B. Gibbons,Marco Gruteser,Zaid Harchaoui,Chaoyang He,Lie He,Zhouyuan Huo,Ben Hutchinson,Justin Hsu,Martin Jaggi,Tara Javidi,Gauri Joshi,Mikhail Khodak,Jakub Konečný,Aleksandra Korolova,Farinaz Koushanfar,Sanmi Koyejo,Tancrède Lepoint,Yang Liu,Prateek Mittal,Mehryar Mohri,Richard Nock,Ayfer Özgür,Rasmus Pagh,Mariana Raykova,Hang Qi,Daniel Ramage,Ramesh Raskar,Dawn Song,Weikang Song,Sebastian U. Stich,Ziteng Sun,Ananda Theertha Suresh,Florian Tramèr,Praneeth Vepakomma,Jianyu Wang,Li Xiong,Zheng Xu,Qiang Yang,Felix X. Yu,Han Yu,Sen Zhao
15+阅读 · 2019年12月10日
Hongteng Xu,Dixin Luo,Lawrence Carin
3+阅读 · 2019年10月9日
Hamed Shahbazi,Xiaoli Z. Fern,Reza Ghaeini,Rasha Obeidat,Prasad Tadepalli
3+阅读 · 2019年8月22日
Approximability of Discriminators Implies Diversity in GANs
Yu Bai,Tengyu Ma,Andrej Risteski
4+阅读 · 2018年6月27日
Chaitanya Malaviya,Pedro Ferreira,André F. T. Martins
3+阅读 · 2018年5月21日
Shaohui Kuang,Junhui Li,António Branco,Weihua Luo,Deyi Xiong
5+阅读 · 2018年5月10日
Qiuyuan Huang,Li Deng,Dapeng Wu,Chang Liu,Xiaodong He
6+阅读 · 2018年2月20日
Yun Chen,Yang Liu,Victor O. K. Li
4+阅读 · 2018年2月9日
Goran Glavaš,Marc Franco-Salvador,Simone Paolo Ponzetto,Paolo Rosso
3+阅读 · 2018年1月19日
Top