教程题目:Discourse Analysis and Its Applications

教程简介

话语处理是从文本中提取多种不同级别的语言学结构的一系列NLP任务,用于从多个层次的文本中发现语言结构,支持多种文本挖掘应用。它包括在一组对话内容中识别话题结构、识别一致性结构、识别互关联结构以及识别对话结构。总之,这些结构可以用于文本总结、文章评分、情感分析、机器翻译、信息提取、问题回答和线索重建。

本教程首先介绍论述分析中的基本概念:单向文本&对话,同步&非同步对话,以及论述分析中的关键语言学结构。然后将会将会介绍传统的机器学习方法以及一些最新的基于深度学习的方法,并且在评测数据上比较它们的表现。对于提及的每种话语结构,讲座中都会介绍它在下游的文本挖掘任务中的使用,也会详细介绍评价它们的方式和指标。最后还会讨论这个领域未来的挑战以及发展机遇。

组织者:

Shafiq Joty是新加坡南洋理工大学(NTU)助理教授,新加坡Salesforce AI研究部高级经理,研究兴趣是自然语言处理:话语处理、机器翻译、图像文字翻译、问题回答、文字摘要、情绪分析;机器学习、概率图形模型、深度学习、强化学习、表征学习。

Giuseppe Carenini是不列颠哥伦比亚大学计算机科学系教授、数据科学硕士联合主任。研究兴趣是人工智能:用户建模、决策理论、机器学习;计算语言学 :自然语言生成、论证、多媒体;HCI:智能接口、信息可视化和交互技术。

Raymond Ng是不列颠哥伦比亚大学的计算机科学教授,数据科学研究所的所长。研究领域是数据挖掘,文本挖掘,健康信息学,传感器分析和数据库。

Gabriel Murray是UFV计算机信息系统副教授,UBC计算机科学系副教授,爱丁堡大学博士学位和理学硕士。研究兴趣为语音与自然语言处理、计算语言学、多模态交互、情感分析,人工智能,机器学习,信念网络,马尔可夫决策过程,马尔可夫奖励过程,数据质量,数据挖掘,统计过程控制。

成为VIP会员查看完整内容
ACL-19-tutorial-part2.pdf
ACL-19-tutorial-part1.pdf
0
9

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

教程题目:Unsupervised Cross-Lingual Representation Learning

教程简介

在本教程中,将会对弱监督、无监督跨语言词表征领域的最新最前沿成果进行一次完整的综述。在简要介绍了监督跨语言词表示的历史之后,重点介绍以下内容:

  1. 如何在资源非常有限以至于无法保证双语监督的情况下引入弱监督以及无监督的跨语言词表征;
  2. 在无监督方法无法高效运行的情况下检验不同训练条件和要求的效果;
  3. 用于弱关联性语言之间的更鲁棒的方法能够改善不稳定以及表现不佳的问题;
  4. 如何综合评价这种表述;
  5. 介绍能从跨语言词表征中获得收益的实际应用(如MT、对话、跨语言序列标记和结构化预测应用、跨语言IR)

组织者:

Sebastian Ruder是伦敦DeepMind的一名研究科学家。在Insight数据分析研究中心完成了自然语言处理和深度学习的博士学位,同时在柏林的文本分析初创公司AYLIEN担任研究科学家。

Anders Søgaard是哥本哈根大学计算机科学自然语言处理与机器学习教授,同时是柏林谷歌的访问科学家。

Ivan Vulić目前担任剑桥大学词汇项目(2015-2020年跨语言词汇习得)的高级研究员。在库鲁汶大学获得了计算机科学博士学位,研究兴趣是自然语言处理、人类语言理解、机器学习理论和应用,信息检索,主要在多语言/跨语言和多模式设置,包括(但不限于)双语词典提取和跨语言语义建模、跨语言和多语言信息检索,分布语义,跨语言文本挖掘和知识转移,语言基础和认知建模的语言,词汇获取、文本表示学习、潜在主题模型、文本数据的概率建模、术语挖掘和对齐、机器翻译、资源稀缺语言的无监督技术、多习惯用法和多模态信息搜索和检索、多模态和视觉/感知增强语义等。

成为VIP会员查看完整内容
Unsupervised Cross-lingual Learning.pdf
0
13

教程题目:Deep Bayesian Natural Language Processing

教程简介

这个教学讲座将会介绍用于自然语言处理的深度贝叶斯学习的发展,以及它在语音识别、文本总结、文本分类、文本分割、信息提取、图像描述生成、句子生成、对话控制、情感分类、推荐系统、问答、机器翻译等等许多任务中的广泛应用。传统上,“深度学习”被认为是一个基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的词汇、句子、实体、动作和文档的“语义结构”在数学逻辑或计算机程序中可能不能很好地表达或正确地优化。自然语言的离散或连续潜在变量模型中的“分布函数”可能没有被正确分解或估计。

本教程介绍了统计模型和神经网络的基础知识,并将重点讲解一系列高级的贝叶斯模型以及深度模型。这些模型之间的联系、能在自然语言的许多符号化表示和复杂模式中发挥作用的原因也会得到介绍。我们将介绍这些模型是如何连接的,以及它们为什么适用于自然语言中符号和复杂模式的各种应用程序。

为解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚被语言和语义约束合并。提出了一系列的案例研究来解决深度贝叶斯学习和理解中的不同问题。最后,指出了一些未来研究的方向和展望。

组织者:

Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
[2019] ACL tutorial-Deep Bayesian Natural Language Processing.pdf
0
42

教程题目:Computational Analysis of Political Texts: Bridging Research Efforts Across Communities

教程简介

使用计算方法来研究政治文本的范围急剧扩大,使政治科学中的文本即数据社区得以持续增长。NLP方法已被广泛用于许多分析和任务,包括从文本记录中推测某人的政治立场,检测政治文本中的观点,以及分析政治沟通中的文体运用(比如制定政治议程过程中语意模糊性起到的作用)。政治学家创建了资源并使用可用的NLP方法来处理文本数据,这在很大程度上与NLP社区隔离。

与此同时,NLP的研究人员处理了密切相关的任务,如选举预测、意识形态分类和立场检测。这两个社区仍然很大程度上彼此不可知,NLP研究人员大多不知道政治科学中有趣的应用程序和用例,而政治科学家在将前沿NLP方法应用到他们的问题上落后。本教程将全面概述政治文本的计算分析工作。首先查看文本数据在政治分析中所扮演的角色,然后继续研究文本即数据的政治科学社区所处理的具体资源和任务。接下来,介绍NLP社区迄今为止所做的研究工作,重点介绍对政治文本进行专题分析的方法,包括无监督的主题归纳和监督的主题分类研究。最后,以政治文本标度作为本教程的结尾,这是文本数据中意识形态检测的一个具有挑战性的任务,它是定量政治学的核心,最近也引起了NLP学者的注意。

组织者:

GoranGlavaš是德国曼海姆大学博士教授,跨学科研究文本分析初级教授,研究兴趣是词汇和计算语义,信息提取,多语言和跨语言NLP,NLP在社会科学和人文学科中的应用,信息检索。

Federico Nanni是艾伦·图灵研究所的研究数据科学家,是研究工程小组的一员,也是伦敦大学高级研究学院的访问学者。目前研究人文数字、计算社会科学、互联网研究和自然语言处理之间的交叉。

Simone Paolo Ponzetto于2013年2月加入数据与网络科学小组,担任初级教授,并于2016年2月起担任曼海姆大学信息系统III讲座教授。

成为VIP会员查看完整内容
Computational Analysis of Political Texts.pdf
0
7

教程题目:Graph-Based Meaning Representations: Design and Processing

教程简介

近年来,人们对以标记有向图的形式对句子意义进行编码和处理产生了广泛的兴趣。举例说明这条研究路线的框架包括:抽象意义表示、基于图的最小递归语义表示、双向语义依赖图和通用概念认知注释。

作为对高级的基于向量的意义表征的补充,对这种层次结构和离散的语义表示的解析,从早期开始就是自然语言理解的基石,并将继续为理解自然语言做出重要贡献。本教程将

  • 简要回顾正式和语言语义的相关背景;
  • 半正式地定义语义图的不同风格和相关术语的统一抽象视图;
  • 调查基于图的意义表示的共同框架和现有的图库;
  • 提供不同解析方法的代表性选择的技术概述。

最终目标是提供不同语义图库和相关解析工作的统一视图,从而减少NLP开发人员和用户从这个令人兴奋的领域最近的成功和最佳实践中获益的障碍。

组织者:

Alexander Koller是一名计算语言学教授,哥伦比亚大学和爱丁堡大学的博士后。研究兴趣包括为自然语言现象提出简洁的数学模型和解决自然语言处理中有用问题的有效算法。特别是在计算语义、语法形式和自然语言生成(NLG)方面做了大量的研究。

Stephan Oepen在柏林、伏尔加格勒和萨尔布吕肯学习了语言学、德语和俄语语言学、计算机科学和计算语言学。2011年至2017年,他在奥斯陆大学(University of Oslo)领导语言技术部门。在此之前,他曾在DFKI和Saarland大学(均为德国)、YY技术公司(山景城)和斯坦福大学(均为美国)工作。他的研究围绕着语言学和计算机技术的结合,在那里他发表了大约90篇经过同行评审的研究论文和会议论文,并与其他人共同创建了全球网络和北欧语言处理实验室(NLPL)。Oepen已经指导完成了5个博士项目和12个理学硕士学位。他是计算语言学编辑委员会和欧洲计算语言学协会执行委员会的成员,同时也是ACL自然语言解析特别兴趣小组的秘书和计算语言学协会欧洲分会2017年会议和自然语言处理经验方法2018年会议的区域联席主席。在2017-18学年,Oepen在挪威科学与文学院高级研究中心联合指导一个国际研究小组。

孙薇薇,计算语言学家。目前在北京大学王选计算机研究所工作,也是北京大学中国语言学中心的兼职研究员。萨尔大学计算语言学系的博士研究生,导师是Hans Uszkoreit教授。研究集中于应用图对语法和语义分析进行编码,以及利用以图为中心的形式主义和算法来明确地表达语言理论。

成为VIP会员查看完整内容
abstract.pdf
Graph-Based Meaning.pdf
0
7

教程题目:Computational Models for Social and Information Network Analysis

教程简介

在本教程中,系统地介绍了社会信息网络的挖掘和学习,涉及的主题从个人到二元交互到群体集体到信息空间。将从微信的真实例子开始教程,解释在线社交网络如何影响我们的离线物理世界。然后,我们将全面介绍社会网络分析的历史和最新进展,包括用户分析的方法和算法,用户行为建模,社会关系和群体建模,影响和信息扩散的结构。并且介绍如何应用计算模型——图形模型、深度学习和嵌入技术——来挖掘和学习网络结构。本教程的独特之处在于,它的目标是向读者提供以下内容:社会网络分析中的社会与图论基础、将社交网络研究转化为在线和移动应用的经验,包括腾讯微信和游戏、阿里巴巴、XueTangX、AMiner和微软学术。最后,本教程中介绍的所有工作都保证使用开放代码,我们还将借此机会发布最大的开放学术图,其中包含2亿个节点和30亿个链接,用于社会网络分析。

大纲:

1.社会历史和信息网络分析

  • 社会历史和信息网络分析
  • 网络跨学科研究
  • 计算社会科学的出现
  • 社会公益的CSS

2.网络中的社会影响

  • 局部社会影响
  • 从众心理的影响
  • 三位一体和结构影响
  • 社会影响位置
  • 深度学习对社会的影响
  • 问答

3.网络表示学习

  • 图神经网络
  • 网络嵌入审查
  • 网络嵌入理论
  • 网络嵌入作为矩阵分解
  • 高速网络嵌入
  • 问答

4.结论与问答(5分钟)

  • 总结
  • 用于社会和网络信息分析的开放数据
  • 问答

组织者:

唐杰,清华大学计算机科学与技术学院教授,康奈尔大学、香港科技大学、南安普顿大学访问学者。他的兴趣包括社会网络分析、数据挖掘和机器学习。他发表了200多篇期刊/会议论文,拥有20项专利,被引用次数超过1万次。他是CIKM'16、WSDM'15、ASONAM'15、SocInfo'12的PC联合主席,是2018年KDD的副主席,ACM TKDD的代理主编,IEEE TKDE/TBD和ACM TKDD/TIST的副主编。他领导的学术社交网络分析和挖掘项目AMiner.org已经吸引了来自世界220个国家/地区的800多万个独立IP访问。曾获国家自然科学基金杰出青年学者奖、英国皇家学会-牛顿先进奖学金、牛顿先进奖学金、ACM SIGKDD服务奖。

成为VIP会员查看完整内容
0
20

主题: Tractable Probabilistic Models: Representations, Algorithms, Learning, and Applications

摘要: 在本教程中,我们将提供一个丰富的TPM文献的额外说明,从有关混合和树模型的开创性工作开始,到最新的表示,如概率电路。在这样做的同时,我们将强调概率推理和学习中难处理性的来源,回顾不同可处理表示所采用的解决方案来克服它们,并讨论它们是如何权衡以保证可处理性的。此外,我们将放大当前最先进的胎压监测系统,分离并理解填充这一领域的模型(ACs、CNs、DNNFs、d-DNNFs、OBDDs、PSDDs、SDD、SPN等)的“字母汤”。我们将展示如何在一个统一的框架下将这些模型表示为概率电路,讨论哪些结构属性描述了每个模型类并实现了不同类型的可跟踪性。我们将讨论主要的算法范例,从数据中自动学习TPMs的结构和参数。最后,我们将展示几个成功的应用场景,其中TPMs被用作替代或与难处理模型结合使用,包括图像分类、完成和生成、场景理解、活动识别、语言和语音建模、生物信息学、协作过滤、验证和诊断。

邀请嘉宾:

Guy Van den Broeck,是加州大学洛杉矶分校计算机科学系的助理教授和Samueli研究员,负责指导统计和关系人工智能(StarAI)实验室。他的研究兴趣是机器学习(统计关系学习、可处理学习、概率编程),知识表示和推理(概率图形模型、提升概率推理、知识汇编、概率数据库)和一般人工智能。盖伊的作品获得了UAI、ILP和KR等主要人工智能领域的最佳论文奖,并在AAAI获得杰出论文荣誉奖。

Nicola Di Mauro,他自2005年起担任巴里奥尔多莫罗大学计算机科学系助理教授,是拉康实验室机器学习小组的成员。2005年,他在巴里-奥尔多-莫罗大学获得博士学位。他的主要研究方向是统计关系学习、概率深度学习和机器学习及其应用。

Antonio Vergari,他目前是加州大学洛杉矶分校(UCLA)StarAI实验室的博士后研究员,致力于整合可处理的概率推理和深度表示。此前,他是德国图宾根马克斯普朗克智能系统研究所的博士后,在那里,他致力于通过可处理的概率模型实现机器学习和数据科学的自动化。

成为VIP会员查看完整内容
0
15

题目: Multimodal Intelligence: Representation Learning, Information Fusion, and Applications

摘要: 自2010年以来,深度学习已经彻底改变了语音识别、图像识别和自然语言处理,每一项都涉及到输入信号中的单一模态。然而,人工智能中的许多应用都涉及到一种以上的模式。因此,研究跨多种模式的建模和学习这一更为困难和复杂的问题具有广泛的兴趣。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究领域的一个重要课题。本文从学习多模态表示、多模态信号在不同层次的融合以及多模态应用三个新的角度,对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,它将多模态信号统一到同一向量空间中,从而实现跨模态信号处理。我们还回顾了为一般下游任务构造和学习的许多嵌入类型的特性。关于多模融合,本文着重介绍了用于集成特定任务的单模信号表示的特殊体系结构。在应用程序方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题解答。我们相信,这项检讨有助于社区未来在新兴多模态情报领域的研究。

作者简介:

Zichao Yang (杨子超),他是芝加哥大学计算机科学系的博士生。他对机器学习、深度学习及其在计算机视觉、自然语言处理中的应用感兴趣。在到CMU之前,他获得了香港大学的硕士学位,上海交通大学的学士学位。他之前曾在谷歌DeepMind实习,与Chris Dyer和Phil Blunsom合作,MSR与He Xiaodong、Gao Jianfeng和Li Deng合作。 个人主页:http://www.cs.cmu.edu/~zichaoy/

Xiaodong He(何晓东)是华盛顿大学西雅图分校电气工程系的副教授。他也是微软研究中心的首席研究员,华盛顿州雷德蒙德。1996年获清华大学(北京)学士学位,1999年获中国科学院(北京)硕士学位,2003年获密苏里哥伦比亚大学博士学位。他的研究兴趣在于人工智能领域,包括深度学习、语音、自然语言、计算机视觉、信息检索和知识表示与管理。他撰写/合著了100多篇论文和一本书,并在ACL、CVPR、SIGIR、WWW、CIKM、NIPS、ICLR、IEEE TASLP、Proc上发表。IEEE、IEEE SPM等场馆。他和同事开发了MSR-NRC-SRI条目和MSR条目,分别在2008年NIST机器翻译评估和2011年IWSLT评估(中英文)中获得第一名,并开发了MSR图像字幕系统,在2015年的MS COCO字幕挑战赛中获得一等奖。他曾在多家IEEE期刊担任编辑职务,担任NAACL-HLT 2015地区主席,并在主要演讲和语言处理会议的组织委员会/项目委员会任职。他是IEEESLTC的当选成员,任期2015-2017年。他是IEEE高级成员,2016年IEEE西雅图分部主席。 个人主页:http://faculty.washington.edu/xiaohe/

Li Deng是一位经验丰富的首席执行官,在高科技行业有着丰富的工作经验。在人工智能、机器学习、数学建模、计算机科学、语音识别、自然语言处理、深度学习、神经网络、大数据分析、财务和统计建模等方面具有较强的技术、执行管理和业务开发专业技能。等

成为VIP会员查看完整内容
0
85
小贴士
相关VIP内容
相关资讯
赛尔笔记 | 自然语言处理中的迁移学习(下)
AI科技评论
9+阅读 · 2019年10月21日
【NLP】万字长文概述NLP中的深度学习技术
产业智能官
16+阅读 · 2019年7月7日
【专题】Facebook遭德国反垄断调查及其影响分析
蚂蚁金服评论
13+阅读 · 2019年4月1日
万字长文概述NLP中的深度学习技术
七月在线实验室
4+阅读 · 2019年3月5日
CCF@U: 刘挺、秦兵走进天津大学
中国计算机学会
3+阅读 · 2018年11月20日
我中心3篇长文被ACL 2018录用
哈工大SCIR
4+阅读 · 2018年4月24日
中科院网络数据科学与技术重点实验室 2017年大事记
中国科学院网络数据重点实验室
12+阅读 · 2018年2月14日
赛尔原创 | 对话系统评价方法综述
哈工大SCIR
10+阅读 · 2017年11月13日
相关论文
Chao Zhang,Zichao Yang,Xiaodong He,Li Deng
63+阅读 · 2019年11月10日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
11+阅读 · 2019年6月25日
Advances in Natural Language Question Answering: A Review
K. S. D. Ishwari,A. K. R. R. Aneeze,S. Sudheesan,H. J. D. A. Karunaratne,A. Nugaliyadde,Y. Mallawarrachchi
4+阅读 · 2019年4月10日
From direct tagging to Tagging with sentences compression
Peihui Chen
5+阅读 · 2018年10月5日
To Cluster, or Not to Cluster: An Analysis of Clusterability Methods
A. Adolfsson,M. Ackerman,N. C. Brownstein
3+阅读 · 2018年8月24日
Murali Raghu Babu Balusu,Taha Merghani,Jacob Eisenstein
4+阅读 · 2018年4月19日
Ou Wu,Tao Yang,Mengyang Li,Ming Li
6+阅读 · 2018年3月21日
Anand Gupta,Hardeo Thakur,Ritvik Shrivastava,Pulkit Kumar,Sreyashi Nag
3+阅读 · 2017年11月25日
Diksha Khurana,Aditya Koli,Kiran Khatter,Sukhdev Singh
4+阅读 · 2017年8月17日
Top
微信扫码咨询专知VIP会员