动态 | 谷歌语义理解框架SyntaxNet升级 开启无数可能性

2017 年 3 月 17 日 AI科技评论

在 AI 语义理解领域,谷歌一直不遗余力地进行研发投入。

对于普通用户而言,2015 年发布的基于深度神经网络的谷歌智能邮件回复,2016 年上线的神经机器翻译系统(GNMT),便源自于谷歌在该领域的研究成果。在消费级产品之外,谷歌还持续为 AI 开发者提供技术支持,不断推出新的开源工具。

去年夏天,针对语句的语法结构分析,谷歌开源了 SyntaxNet 神经网络框架,以及与之搭配英语分析预训练模型 Parsey McParseface。紧随其后,谷歌发布了针对其他 40 门语言的语法分析模型。并将它们命名为 Parsey's Cousins(即 “Parsey 的表兄妹们”)。对英语国家开发者而言,为英语之外的语言开发机器学习系统是一件相当不容易的事。现在,经过将近一年的努力,谷歌推出了 SyntaxNet 框架以及 Parsey 相关模型的升级版。

SyntaxNet 升级

就雷锋网所知,这是 SyntaxNet 自诞生以来的最重大升级。这建立在谷歌对各语言的语义理解研究基础之上。此次升级的核心是一项新技术:能对输入语句的多层表示进行很好的学习。具体来讲,它延伸了 TensorFlow,能对多层语言结构进行合成建模,还能够在语句或文件处理过程中,动态地生成神经网络架构。

举个例子,该升级使创建基于字母的模型(能学习把单独字母组合成词语),变得更加简单。该模型还能够学习到,不同词语在共同组成部分(共享的字母)方面存在联系。在另一方面,Parsey 和 Parsey’s Cousins 通过词语排序而运行。因此它们必须要对训练中的词语进行记忆,并依赖语境来决定“生词”(此前未记忆过的词语)的语法函数。

ParseySaurus

为了展示新版本 SyntaxNet 的强大之处,谷歌同时发布了新的预训练过的模型 ParseySaurus。ParseySaurus 模型,使用了上文提到的基于字母的输入表示。因此,它极大提升了预测新词语含义的能力。这是基于两个方面来实现:词汇的拼写和在语境中的使用方式。雷锋网了解到,ParseySaurus 的准确率远远超出 Parsey’s Cousins,错误率降低了 25%。由于语言的形态特性和其他属性,新模型在俄语、土耳其语、匈牙利语上的效果尤其好——这些语言中,同一个词汇有多种不同形态,其中许多形态从未在训练阶段出现过(即便是大型语料库)。

竞赛

你或许会对“基于字母的模型是不是语义识别的最佳选择”感到好奇。或者,是否有其他更好的技术。谷歌表示,新版本的谷歌 SyntaxNet 提供了许多全新可能性,比如 beam search 和不同的训练目标;但新 SyntaxNet 的能力不止于此。雷锋网消息,谷歌与布拉格大学(Charles University)合作,将在今年的 CoNLL 大会上举办多语言分解竞赛(multilingual parsing competition)。竞赛目标是为 45 种语言,开发出在现实环境下有良好表现的语义分解系统。

via google

AI科技评论招聘季全新启动!


很多读者在思考,“我和AI科技评论的距离在哪里?”,答案就是:一封求职信。


AI科技评论自创立以来,围绕学界和业界鳌头,一直为读者提供专业的AI学界,业界,开发者内容报道。我们与学术界一流专家保持密切联系,获得第一手学术进展;我们深入巨头公司AI实验室,洞悉最新产业变化;我们覆盖A类国际学术会议,发现和推动学术界和产业界的不断融合。


而你只要加入我们,就有机会和我们一起记录这个风起云涌的人工智能时代!


如果你有下面任何两项,请投简历给我们:


*英语好,看论文毫无压力

*计算机科学或者数学相关专业毕业,好钻研

*新闻媒体相关专业,好社交

*态度好,学习能力强


简历投递:lizongren@leiphone.com




登录查看更多
0

相关内容

语义理解(NLU)是通过一系列的AI算法,将文本解析为结构化的、机器可读的意图与词槽信息,便于互联网开发者更好的理解并满足用户需求。 思知AI机器人开放平台面向互联网开发者提供对自然语言文本的语义理解服务。
【ACL2020-Google】逆向工程配置的神经文本生成模型
专知会员服务
16+阅读 · 2020年4月20日
2020年中国《知识图谱》行业研究报告,45页ppt
专知会员服务
233+阅读 · 2020年4月18日
【Google】利用AUTOML实现加速感知神经网络设计
专知会员服务
28+阅读 · 2020年3月5日
2019中国硬科技发展白皮书 193页
专知会员服务
77+阅读 · 2019年12月13日
ACL 2019 | 多语言BERT的语言表征探索
AI科技评论
20+阅读 · 2019年9月6日
TensorFlow Lite 2019 年发展蓝图
谷歌开发者
6+阅读 · 2019年3月12日
各种NLP操作难实现?谷歌开源序列建模框架Lingvo
机器之心
4+阅读 · 2019年2月26日
CMU、谷歌提出Transformer-XL:学习超长上下文关系
机器之心
9+阅读 · 2019年1月18日
详细解读谷歌新模型 BERT 为什么嗨翻 AI 圈
人工智能头条
10+阅读 · 2018年10月25日
A Survey on Deep Learning for Named Entity Recognition
Arxiv
25+阅读 · 2020年3月13日
Arxiv
11+阅读 · 2019年6月19日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
ViZDoom Competitions: Playing Doom from Pixels
Arxiv
5+阅读 · 2018年9月10日
Arxiv
7+阅读 · 2018年4月11日
Arxiv
15+阅读 · 2018年2月4日
Arxiv
25+阅读 · 2017年12月6日
VIP会员
相关资讯
相关论文
A Survey on Deep Learning for Named Entity Recognition
Arxiv
25+阅读 · 2020年3月13日
Arxiv
11+阅读 · 2019年6月19日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
ViZDoom Competitions: Playing Doom from Pixels
Arxiv
5+阅读 · 2018年9月10日
Arxiv
7+阅读 · 2018年4月11日
Arxiv
15+阅读 · 2018年2月4日
Arxiv
25+阅读 · 2017年12月6日
Top
微信扫码咨询专知VIP会员