【导读】DeepMind开设了一系列深度学习课程。本次课讲述了深度学习自然语言处理。

这个报告由DeepMind研究科学家菲利克斯·希尔(Felix Hill)主持,分为三个部分。首先,他讨论了用ANN建模语言的动机:语言是高度上下文相关的,典型的非组合性的,依赖于协调许多竞争的信息来源。本节还涵盖了Elman的发现结构在时间和简单递归网络,上下文和transformers的重要性。在第二部分,他探索了从Word2Vec到BERT的语言的无监督和表征学习。最后,Felix讨论了情景语言理解,基础和具体化语言学习。。

深度学习自然语言处理

成为VIP会员查看完整内容
0
33

相关内容

Google DeepMind 是一家英国的人工智能公司。公司创建于 2010 年,最初名称是 DeepMind 科技,在 2014 年被谷歌收购。

来自DeepMind研究人员Feryal Behbahani, Matt Hoffman 和 Bobak Shahriari讲解的强化学习教程。

成为VIP会员查看完整内容
0
20

【导读】DeepMind开设了一系列深度学习课程。本次课讲述了深度学习计算机视觉。

继上一讲之后,DeepMind研究科学家Viorica Patraucean介绍了图像分类之外的经典计算机视觉任务(目标检测、语义分割、光流估计),并描述了每种任务的最新模型以及标准基准。她讨论了视频处理任务的类似模型,如动作识别、跟踪和相关挑战。她特别提到了最近提高视频处理效率的工作,包括使用强化学习的元素。接下来,她介绍了单模态和多模态(vision+audio, visio+language)自监督学习的各种设置,在这些设置中,大规模学习是有益的。最后,Viorica讨论了视觉中的开放问题,以及计算机视觉研究在构建智能代理这一更广泛目标中的作用。

成为VIP会员查看完整内容
0
43

过去10年,卷积神经网络彻底改变了计算机视觉。在这堂课中,DeepMind研究科学家Sander Dieleman通过几个案例研究,从90年代早期到目前的技术状态,对卷积网络架构进行了更深入的研究。他还回顾了一些目前常用的构建模块,讨论了训练深度模型的挑战,以及寻找有效架构的策略,重点关注图像识别。

成为VIP会员查看完整内容
0
37

在过去几年里,注意力和记忆已经成为深度学习的两个重要的新组成部分。本讲座由DeepMind研究科学家Alex Graves讲授现在广泛使用的注意力机制,包括任何深度网络中的内隐注意力,以及离散和可区分的变体的显性注意力。然后讨论了具有外部记忆的网络,并解释了注意力是如何为他们提供选择性回忆的。它简要地回顾了Transformer,一种特别成功的注意力网络类型,最后看可变计算时间,这可以被视为一种形式的“注意力集中”。

地址:

https://ua-cam.com/video/AIiwuClvH6k/deepmind-x-ucl-deep-learning-lectures-8-12-attention-and-memory-in-deep-learning.html

Alex Graves在爱丁堡大学(University of Edinburgh)完成了理论物理学的理学学士学位,在剑桥大学(University of Cambridge)完成了数学的第三部分,在IDSIA与尤尔根·施米德胡贝尔(Jurgen Schmidhuber)一起完成了人工智能博士学位,之后在慕尼黑工业大学(technology University of Munich)和杰夫·辛顿(Geoff Hinton)一起完成了博士后学位。他现在是DeepMind的一名研究科学家。他的贡献包括用于序列标签的连接主义时态分类算法,随机梯度变分推理,神经图灵机/可微分神经计算机架构,以及用于强化学习的A2C算法。

关于讲座系列:

深度学习讲座系列是DeepMind与UCL人工智能中心之间的合作。在过去的十年中,深度学习已发展成为领先的人工智能范例,使我们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别,语音识别,语音合成,预测,科学计算,控制等问题。由此产生的应用程序触及我们在医疗保健和医学研究,人机交互,通信,运输,保护,制造以及人类努力的许多其他领域中的所有生活。认识到这一巨大影响,深度学习的先驱获得了2019年图灵奖,这是计算机领域的最高荣誉。

在本系列讲座中,来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座,内容涵盖了通过围绕记忆,注意力和生成建模的先进思想来训练神经网络的基础知识,以及重要的 负责任的创新主题。

深度学习注意力与记忆机制

成为VIP会员查看完整内容
0
76

自2006年以来,神经网络是引发深度学习革命的模型,但它们的基础可以追溯到20世纪60年代。在这堂课中,DeepMind研究科学家Wojciech Czarnecki将介绍这些模型如何操作、学习和解决问题的基础知识。他还介绍了各种术语/命名惯例,为与会者进一步、更高级的会谈做准备。最后,他简要介绍了神经网络设计和开发的更多研究方向。

成为VIP会员查看完整内容
0
30

在本课中我们将专注在序列数据上并讲解机器学习方法如何来处理这种类型的数据。我们首先介绍关于序列建模的基础概念,包括常用架构如RNN、LSTM。随后我们将介绍序列到序列解码和他的应用。

成为VIP会员查看完整内容
0
38

【导读】这一份最新216页的ppt概述《深度学习自然语言处理》,包括神经网络基础,词向量表示,序列句子表示,分类标注、生成句子,预训练。

成为VIP会员查看完整内容
0
54
小贴士
相关论文
Talking-Heads Attention
Noam Shazeer,Zhenzhong Lan,Youlong Cheng,Nan Ding,Le Hou
3+阅读 · 3月5日
Tutorial on NLP-Inspired Network Embedding
Boaz Shmueli
3+阅读 · 2019年10月16日
Hiroaki Hayashi,Zecong Hu,Chenyan Xiong,Graham Neubig
11+阅读 · 2019年8月21日
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Zihang Dai,Zhilin Yang,Yiming Yang,William W. Cohen,Jaime Carbonell,Quoc V. Le,Ruslan Salakhutdinov
3+阅读 · 2019年1月9日
Music Transformer
Cheng-Zhi Anna Huang,Ashish Vaswani,Jakob Uszkoreit,Noam Shazeer,Ian Simon,Curtis Hawthorne,Andrew M. Dai,Matthew D. Hoffman,Monica Dinculescu,Douglas Eck
3+阅读 · 2018年12月12日
Ke Li,Jitendra Malik
5+阅读 · 2018年11月29日
Antoine J. -P. Tixier
8+阅读 · 2018年8月30日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
6+阅读 · 2018年8月6日
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
3+阅读 · 2018年6月5日
Top