报告主题:知识指导的自然语言处理

报告摘要:近年来深度学习技术席卷自然语言处理(NLP)各大领域。作为典型的数据驱动方法,深度学习面临可解释性不强等难题,如何将人类积累的大量语言知识和世界知识引入深度学习模型,是改进NLP深度学习模型性能的重要方向,同时也面临很多挑战。本报告将介绍知识指导的自然语言处理的最新进展与趋势。

邀请嘉宾:林衍凯,腾讯微信模式识别中心高级研究员。博士毕业于来自清华大学自然语言处理组, 由孙茂松教授和刘知远副教授共同指导,主要研究方向为知识图谱表示、构建和应用。目前已在人工智能、自然语言处理等领域的著名国际会议IJCAI,AAAI,EMNLP,ACL发表相关论文多篇,Google Scholar引用数超过1400。曾获2017年百度奖学金、2018年清华大学学术新秀。

成为VIP会员查看完整内容
5_CCKS_ATT_YankaiLin.pdf
0
35

相关内容

林衍凯,腾讯微信模式识别中心高级研究员。博士毕业于来自清华大学自然语言处理组, 由孙茂松教授和刘知远副教授共同指导,主要研究方向为知识图谱表示、构建和应用。目前已在人工智能、自然语言处理等领域的著名国际会议IJCAI,AAAI,EMNLP,ACL发表相关论文多篇,Google Scholar引用数超过1400。曾获2017年百度奖学金、2018年清华大学学术新秀。

报告简介: 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。如何用好自然语言处理,让机器明白文字,读懂文字,自言语言处理已经应用在不同的领域,如推荐系统、医疗问答、机器翻译等。

嘉宾介绍: 刘知远,清华大学计算机系副教授、博士生导师。主要研究方向为表示学习、知识图谱和社会计算。2011年获得清华大学博士学位,已在ACL、IJCAI、AAAI等人工智能领域的著名国际期刊和会议发表相关论文60余篇,Google Scholar统计引用超过2700次。承担多项国家自然科学基金。曾获清华大学优秀博士学位论文、中国人工智能学会优秀博士学位论文、清华大学优秀博士后、中文信息学会青年创新奖,入选中国科学青年人才托举工程、CCF-Intel青年学者提升计划。担任中文信息学会青年工作委员会执委、副主任,中文信息学会社会媒体处理专委会委员、秘书,SCI期刊Frontiers of Computer Science青年编委,ACL、COLING、IJCNLP领域主席。

成为VIP会员查看完整内容
刘知远-knowledge-guided NLP.pdf
0
59

论文题目:大规模结构化知识的 表示学习、自动获取与计算应用

论文作者:林衍凯,腾讯微信模式识别中心高级研究员。博士毕业于来自清华大学自然语言处理组, 由孙茂松教授和刘知远副教授共同指导,主要研究方向为知识图谱表示、构建和应用。目前已在人工智能、自然语言处理等领域的著名国际会议IJCAI,AAAI,EMNLP,ACL发表相关论文多篇,Google Scholar引用数超过1400。曾获2017年百度奖学金、2018年清华大学学术新秀。

指导老师:孙茂松,教授,博士生导师,曾任清华大学计算机科学与技术系系主任,现任教育部在线教育研究中心副主任、清华大学计算机系党委书记、清华大学大规模在线开放教育研究中心主任。

论文摘要:知识图谱是人工智能研究和智能信息服务基础核心技术,能够赋予智能体精 准查询、深度理解与逻辑推理等能力。目前,基于深度学习的自然语言处理技术只 能从数据中机械地学习完成特定任务的语义模式,不具备鲁棒性和可解释性,做 不到对语言的深层理解与推理。我们认为要想实现真正的自然语言理解,需要在 现有深度学习技术的基础上融合知识图谱信息。实现自然语言处理与知识图谱的 融合并非轻而易举,需要解决几个关键问题: (1)知识表示。在深度学习模型中充分利用大规模知识图谱,需要首先解决知 识图谱表示的问题。在这方面,我的工作包括:a. 考虑知识图谱复杂关系的知识 表示:我们提出了基于映射矩阵进行空间投影的知识图谱表示模型,用于处理知 识图谱中的复杂关系。b. 考虑知识图谱复杂路径的知识表示:我们认为实体之间 多步的关系路径同样包含着丰富的关系推理信息,并提出了一种基于路径表示的 知识图谱表示模型。c. 考虑知识图谱复杂属性的知识表示:我们提出了一种同时 学习知识图谱中实体、关系和特性表示的知识图谱表示模型,以提高知识图谱表 示的质量。 (2)知识获取。如何从互联网大规模的结构化、半结构和无结构数据中自动获 取知识,辅以少量人工校验,是大规模知识图谱构建的必由之路。在这方面,我的 工作包括:a. 基于选择注意力机制的关系抽取:针对远程监督数据中存在大量的 噪音的问题,我们提出了一个基于句子级别选择注意力机制的神经网络关系抽取 模型,用于过滤错误标注的句子。b. 基于多语言注意力机制的关系抽取:现有的 关系抽取系统通常专注于如何更好地利用单语言数据,忽略了多语言数据对于关 系抽取任务的帮助。针对这个问题,我们提出了一个基于多语言选择注意力机制 的关系抽取模型。 (3)知识应用。面向不同自然语言处理任务,我们需要探索将知识合理地融合 到该任务下的深度学习模型中,实现知识指导的自然语言理解。在这方面,我的 工作包括:a. 基于知识的实体分类:我们提出了基于知识注意力机制的实体分类 模型,用于考虑命名实体和上下文之间的联系以及知识图谱中丰富的有关信息。b. 基于知识的开放域问答:我们借鉴人类回答问题的模式提出了一个基于 ‘‘粗读-精 读-总结’’ 模式的开放域问答系统。 我们的工作有效地解决了面向知识图谱的知识表示、知识获取、知识应用中 的关键问题,为迈向真正的自然语言理解打下了坚实的基础。

成为VIP会员查看完整内容
博士论文_林衍凯_大规模结构化知识的表示学习、自动获取与计算应用.pdf
0
72

特邀报告2:知识图谱与语义理解

Abstract: 得益于算法、算力及数据的突破,人工智能取得长足发展,呈现出多技术融合和产业应用规模化等趋势。作为人工智能的核心关键技术,知识图谱及语义理解已经广泛应用,并在产业智能化中发挥越来越大的价值。本报告将详解知识图谱与语义理解技术及应用,并探讨未来发展方向。

Bio: 王海峰,博士,现任百度CTO,AI技术平台体系(AIG)和基础技术体系(TG)总负责人,兼任百度研究院院长、深度学习技术及应用国家工程实验室主任。自然语言处理领域最具影响力的国际学术组织ACL(Association for Computational Linguistics)50多年历史上首位出任过主席的华人,唯一来自中国大陆的ACL Fellow,ACL亚太分会创始主席。IEEE Industry Advisory Board委员。兼任中国中文信息学会、中国电子学会、中国网络空间安全协会、类脑智能技术及应用国家工程实验室、新一代人工智能产业技术创新战略联盟、人工智能产业发展联盟等机构副理事长,大数据系统软件国家工程实验室技术委员会副主任,中国人工智能学会会士,新一代人工智能战略咨询委员会委员等。获国家科技进步奖二等奖一项(第一完成人),中国电子学会科技进步一等奖四项(均为第一完成人)。首届全国创新争先奖唯一来自互联网行业的获奖人。首个吴文俊人工智能杰出贡献奖唯一获奖人。享受国务院政府特殊津贴。已发表学术论文120余篇,获得中国和国际授权发明专利100余项。获中国专利银奖一项。

成为VIP会员查看完整内容
0
39

报告主题:任务型对话系统

报告简介:对话系统一般可以分为两种,即任务型对话系统(也称作目标导向型对话系统)和闲聊对话系统。本讲习班主要介绍任务型对话系统,其多用于垂直领域业务助理系统,如微软小娜、百度度秘、阿里小蜜以及我们研发的对话技术平台(DTP)等。这类系统具有明确需要完成的任务目标,如订餐、订票等。我们将首先介绍任务型对话系统的背景和定义,然后依次介绍其中的关键技术,包括自然语言理解(包括领域意图的识别和语义槽的填充)、对话管理(包括对话状态跟踪和对话策略优化)以及自然语言生成;接着介绍任务型对话系统的评价方法和国内外相关技术评测任务;最后对任务型对话系统的技术和应用趋势进行展望。

邀请嘉宾:车万翔博士,哈尔滨工业大学计算机学院教授,博士生导师,斯坦福大学访问学者,合作导师Christopher Manning教授。现任中国中文信息学会计算语言学专业委员会委员、青年工作委员会副主任;中国计算机学会高级会员、曾任YOCSEF哈尔滨主席(2016-2017年度)。在ACL、EMNLP、AAAI、IJCAI等国内外高水平期刊和会议上发表学术论文50余篇,其中AAAI 2013年的文章获得了最佳论文提名奖,论文累计被引用2,100余次(Google Scholar数据),H-index值为26。出版教材 2 部,译著 2 部。承担国家自然科学基金、973等多项科研项目。负责研发的语言技术平台(LTP)已被600余家单位共享,提供的在线“语言云”服务已有用户1万余人,并授权给百度、腾讯、华为等公司使用。2018年,获CoNLL多语种句法分析国际评测第1名。2015-16年,连续两年获Google Focused Research Award(谷歌专注研究奖);2016年,获黑龙江省科技进步一等奖(排名第2);2012年,获黑龙江省技术发明奖二等奖(排名第2);2010年获中国中文信息学会“钱伟长”中文信息处理科学技术奖一等奖(排名第2)、首届汉王青年创新奖(个人)等多项奖励。2017年,所主讲的《高级语言程序设计(Python)》课程获国家精品在线开放课程。

张伟男,哈尔滨工业大学计算机科学与技术学院副教授/博士。研究兴趣包括人机对话及自然语言处理。在ACL、AAAI、IJCAI及IEEE TKDE等CCF A类国际会议及国际顶级期刊发表论文多篇,主导研发了人机对话系统“笨笨”。目前为中国中文信息学会(CIPS)信息检索专委会委员、青年工作委员会委员,中国人工智能学会(CAAI)青年工作委员会委员。曾获黑龙江省科技进步一等奖、中国人工智能学会最佳青年成果奖、中国人工智能学会“合创杯”第二届全国青年创新创业大赛三等奖及首届“百度奖学金”。

成为VIP会员查看完整内容
CIPS_SSATT_2019_任务型对话系统_车万翔_张伟男.pdf
0
37

报告主题:面向自然语言处理的深度学习基础

报告摘要:深度学习是人工智能领域的前沿热点,已在自然语言处理领域取得了令人瞩目的成绩,本篇报告从自然语言处理着手,以机器学习、网络模型为基础,并结合自然语言处理的实例,以及最新研究进展,全方面多层次地进行讲解,为感兴趣的学者、学生和工程师,提供了一个快速了解相关基础知识、研究内容、发展趋势的窗口。

嘉宾介绍:邱锡鹏,男,复旦大学计算机科学技术学院副教授,中国中文信息学会青年工作委员会委员,中国人工智能学会青年工作委员会常务委员,主要从事自然语言处理、深度学习等方向的研究,在 ACL、EMNLP、AAAI、IJCAI 等计算机学会 A/B 类期刊、会议上发表 50 余篇学术论文。开源自然语言处理工具 FudanNLP [GitHub] [Google Code] 项目开发者,FastNLP [GitHub] 项目负责人。 2015 年入选首届中国科协人才托举工程,2018 年获中国中文信息学会 “钱伟长中文信息处理科学技术奖—汉王青年创新奖”

成为VIP会员查看完整内容
CIPS_SSATT_2019_面向自然语言处理的深度学习基础_邱锡鹏.pdf
0
30
小贴士
相关VIP内容
【CAAI 2019】自然语言与理解,苏州大学| 周国栋教授
专知会员服务
44+阅读 · 2019年12月1日
【CCL 2019】ATT-第19期:生成对抗网络 (邱锡鹏)
专知会员服务
29+阅读 · 2019年11月12日
相关论文
Relation-Aware Graph Attention Network for Visual Question Answering
Linjie Li,Zhe Gan,Yu Cheng,Jingjing Liu
4+阅读 · 2019年10月9日
Unified Vision-Language Pre-Training for Image Captioning and VQA
Luowei Zhou,Hamid Palangi,Lei Zhang,Houdong Hu,Jason J. Corso,Jianfeng Gao
6+阅读 · 2019年10月3日
Structured Query Construction via Knowledge Graph Embedding
Ruijie Wang,Meng Wang,Jun Liu,Michael Cochez,Stefan Decker
6+阅读 · 2019年9月6日
Zhuosheng Zhang,Yuwei Wu,Hai Zhao,Zuchao Li,Shuailiang Zhang,Xi Zhou,Xiang Zhou
3+阅读 · 2019年9月5日
Zi-Yi Dou,Keyi Yu,Antonios Anastasopoulos
5+阅读 · 2019年8月27日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
7+阅读 · 2019年6月13日
Kamran Kowsari,Kiana Jafari Meimandi,Mojtaba Heidarysafa,Sanjana Mendu,Laura E. Barnes,Donald E. Brown
3+阅读 · 2019年4月25日
Peifeng Wang,Jialong Han,Chenliang Li,Rong Pan
6+阅读 · 2018年11月4日
Alexander Trott,Caiming Xiong,Richard Socher
3+阅读 · 2017年12月23日
Top