在过去的几年中,自然语言处理领域发生了许多巨大的变化。在这篇介绍性的演讲中,我们将简要讨论自然语言处理中最大的挑战是什么,然后深入探讨NLP中最重要的深度学习里程碑。我们将包括词嵌入,语言建模和机器翻译的递归神经网络,以及最近兴起的基于Transformer的模型。

Jiři Materna:他是一个机器学习专家。在完成博士学位后,他在Seznam担任研究主管。现在作为一个自由职业者提供机器学习解决方案和咨询。他是机器学习学院的创始人和讲师,也是布拉格国际机器学习会议的组织者。

成为VIP会员查看完整内容
0
56

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】机器学习暑期学校(MLSS)系列开始于2002年,致力于传播统计机器学习和推理的现代方法。今年因新冠疫情在线举行,从6月28号到7月10号讲述了众多机器学习主题。本文推荐来自米兰大学Nicoló Cesa-Bianchi教授讲述《统计学习理论》,非常干货,包括:

  • 统计学习的简介
  • 从统计学习到序列决策
  • 专家意见和多武装强盗的预测
  • 在线凸优化
  • 上下文老虎机算法

成为VIP会员查看完整内容
0
94

【导读】DeepMind开设了一系列深度学习课程。本次课讲述了深度学习自然语言处理。

这个报告由DeepMind研究科学家菲利克斯·希尔(Felix Hill)主持,分为三个部分。首先,他讨论了用ANN建模语言的动机:语言是高度上下文相关的,典型的非组合性的,依赖于协调许多竞争的信息来源。本节还涵盖了Elman的发现结构在时间和简单递归网络,上下文和transformers的重要性。在第二部分,他探索了从Word2Vec到BERT的语言的无监督和表征学习。最后,Felix讨论了情景语言理解,基础和具体化语言学习。。

深度学习自然语言处理

成为VIP会员查看完整内容
0
80

【导读】这一份最新216页的ppt概述《深度学习自然语言处理》,包括神经网络基础,词向量表示,序列句子表示,分类标注、生成句子,预训练。

成为VIP会员查看完整内容
0
112
小贴士
相关论文
Mingzhen Li,Yi Liu,Xiaoyan Liu,Qingxiao Sun,Xin You,Hailong Yang,Zhongzhi Luan,Depei Qian
9+阅读 · 2020年2月6日
Yu Cheng,Duo Wang,Pan Zhou,Tao Zhang
37+阅读 · 2019年9月8日
Marc Everett Johnson
3+阅读 · 2018年12月18日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
The Matrix Calculus You Need For Deep Learning
Terence Parr,Jeremy Howard
6+阅读 · 2018年7月2日
Benjamin Recht
5+阅读 · 2018年6月25日
Philip Schulz,Wilker Aziz,Trevor Cohn
5+阅读 · 2018年5月28日
Michiki Kurosawa,Yukio Matsumura,Hayahide Yamagishi,Mamoru Komachi
3+阅读 · 2018年5月25日
Wenbin Li,Jing Huo,Yinghuan Shi,Yang Gao,Lei Wang,Jiebo Luo
7+阅读 · 2018年5月15日
Graham Neubig,Matthias Sperber,Xinyi Wang,Matthieu Felix,Austin Matthews,Sarguna Padmanabhan,Ye Qi,Devendra Singh Sachan,Philip Arthur,Pierre Godard,John Hewitt,Rachid Riad,Liming Wang
3+阅读 · 2018年3月1日
Top