【导读】DeepMind开设了一系列深度学习课程。本次课讲述了深度学习自然语言处理。

这个报告由DeepMind研究科学家菲利克斯·希尔(Felix Hill)主持,分为三个部分。首先,他讨论了用ANN建模语言的动机:语言是高度上下文相关的,典型的非组合性的,依赖于协调许多竞争的信息来源。本节还涵盖了Elman的发现结构在时间和简单递归网络,上下文和transformers的重要性。在第二部分,他探索了从Word2Vec到BERT的语言的无监督和表征学习。最后,Felix讨论了情景语言理解,基础和具体化语言学习。。

深度学习自然语言处理

成为VIP会员查看完整内容
0
80

相关内容

Google DeepMind 是一家英国的人工智能公司。公司创建于 2010 年,最初名称是 DeepMind 科技,在 2014 年被谷歌收购。

【导读】DeepMind开设了一系列深度学习课程。本次课讲述了深度学习计算机视觉。

继上一讲之后,DeepMind研究科学家Viorica Patraucean介绍了图像分类之外的经典计算机视觉任务(目标检测、语义分割、光流估计),并描述了每种任务的最新模型以及标准基准。她讨论了视频处理任务的类似模型,如动作识别、跟踪和相关挑战。她特别提到了最近提高视频处理效率的工作,包括使用强化学习的元素。接下来,她介绍了单模态和多模态(vision+audio, visio+language)自监督学习的各种设置,在这些设置中,大规模学习是有益的。最后,Viorica讨论了视觉中的开放问题,以及计算机视觉研究在构建智能代理这一更广泛目标中的作用。

成为VIP会员查看完整内容
0
86

过去10年,卷积神经网络彻底改变了计算机视觉。在这堂课中,DeepMind研究科学家Sander Dieleman通过几个案例研究,从90年代早期到目前的技术状态,对卷积网络架构进行了更深入的研究。他还回顾了一些目前常用的构建模块,讨论了训练深度模型的挑战,以及寻找有效架构的策略,重点关注图像识别。

成为VIP会员查看完整内容
0
73

在过去几年里,注意力和记忆已经成为深度学习的两个重要的新组成部分。本讲座由DeepMind研究科学家Alex Graves讲授现在广泛使用的注意力机制,包括任何深度网络中的内隐注意力,以及离散和可区分的变体的显性注意力。然后讨论了具有外部记忆的网络,并解释了注意力是如何为他们提供选择性回忆的。它简要地回顾了Transformer,一种特别成功的注意力网络类型,最后看可变计算时间,这可以被视为一种形式的“注意力集中”。

地址:

https://ua-cam.com/video/AIiwuClvH6k/deepmind-x-ucl-deep-learning-lectures-8-12-attention-and-memory-in-deep-learning.html

Alex Graves在爱丁堡大学(University of Edinburgh)完成了理论物理学的理学学士学位,在剑桥大学(University of Cambridge)完成了数学的第三部分,在IDSIA与尤尔根·施米德胡贝尔(Jurgen Schmidhuber)一起完成了人工智能博士学位,之后在慕尼黑工业大学(technology University of Munich)和杰夫·辛顿(Geoff Hinton)一起完成了博士后学位。他现在是DeepMind的一名研究科学家。他的贡献包括用于序列标签的连接主义时态分类算法,随机梯度变分推理,神经图灵机/可微分神经计算机架构,以及用于强化学习的A2C算法。

关于讲座系列:

深度学习讲座系列是DeepMind与UCL人工智能中心之间的合作。在过去的十年中,深度学习已发展成为领先的人工智能范例,使我们能够以前所未有的准确性和规模从原始数据中学习复杂的功能。深度学习已应用于对象识别,语音识别,语音合成,预测,科学计算,控制等问题。由此产生的应用程序触及我们在医疗保健和医学研究,人机交互,通信,运输,保护,制造以及人类努力的许多其他领域中的所有生活。认识到这一巨大影响,深度学习的先驱获得了2019年图灵奖,这是计算机领域的最高荣誉。

在本系列讲座中,来自领先的AI研究实验室DeepMind的研究科学家针对深度学习中的一系列令人兴奋的主题进行了12次讲座,内容涵盖了通过围绕记忆,注意力和生成建模的先进思想来训练神经网络的基础知识,以及重要的 负责任的创新主题。

深度学习注意力与记忆机制

成为VIP会员查看完整内容
0
114

【导读】慕尼黑大学开设的《高级深度学习》技术课程,重点介绍计算机视觉的前沿深度学习技术。最新一期介绍了《生成式对抗网络》进展,讲述了GAN的知识体系,值得关注。

成为VIP会员查看完整内容
0
101

【导读】这一份最新216页的ppt概述《深度学习自然语言处理》,包括神经网络基础,词向量表示,序列句子表示,分类标注、生成句子,预训练。

成为VIP会员查看完整内容
0
111

在过去的几年中,自然语言处理领域发生了许多巨大的变化。在这篇介绍性的演讲中,我们将简要讨论自然语言处理中最大的挑战是什么,然后深入探讨NLP中最重要的深度学习里程碑。我们将包括词嵌入,语言建模和机器翻译的递归神经网络,以及最近兴起的基于Transformer的模型。

Jiři Materna:他是一个机器学习专家。在完成博士学位后,他在Seznam担任研究主管。现在作为一个自由职业者提供机器学习解决方案和咨询。他是机器学习学院的创始人和讲师,也是布拉格国际机器学习会议的组织者。

成为VIP会员查看完整内容
0
56

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
126

DeepMind 与 UCL 合作推出了一门深度学习与强化学习进阶课程,以在线视频形式呈现。课件包括18个课程的16个PPT共开放,每节课都长达 1 小时 40 分钟,内容从深度学习框架 TensoFlow 的介绍到构建游戏智能体,可谓全面。

该课程最初在伦敦大学学院(UCL)进行,为方便在线观看进行了录像。多位 DeepMind 的研究人员、UCL 教师参与了课程的设计。

课程由两部分组成,一是包含深度神经网络的机器学习,二是利用强化学习进行预测和控制,两个部分相互穿插。在探讨深度学习的过程中,这两条线交汇在一起,其中的深度神经网络被训练为强化学习背景下的函数逼近器。

课程中的深度学习部分首先介绍了神经网络及使用 TensorFlow 的监督学习,接下来探讨了卷积神经网络、循环神经网络、端到端及基于能量的学习、优化方法、无监督学习、注意力及记忆。涉及的应用领域包括目标识别和自然语言处理。

视频课程地址:https://www.youtube.com/playlist?list=PLqYmG7hTraZDNJre23vqCGIVpfZ_K2RZs

PPT下载链接:https://pan.baidu.com/s/1BJNjnF-nXN4LjQ3XvtxdaQ 提取码: 8s86

成为VIP会员查看完整内容
0
70
小贴士
相关论文
Zhilin Yang,Zihang Dai,Yiming Yang,Jaime Carbonell,Ruslan Salakhutdinov,Quoc V. Le
13+阅读 · 2019年6月19日
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Zihang Dai,Zhilin Yang,Yiming Yang,Jaime Carbonell,Quoc V. Le,Ruslan Salakhutdinov
9+阅读 · 2019年6月2日
Tianshui Chen,Weihao Yu,Riquan Chen,Liang Lin
3+阅读 · 2019年3月8日
Learning Embedding Adaptation for Few-Shot Learning
Han-Jia Ye,Hexiang Hu,De-Chuan Zhan,Fei Sha
8+阅读 · 2018年12月10日
He Huang,Changhu Wang,Philip S. Yu,Chang-Dong Wang
5+阅读 · 2018年11月12日
Hierarchical Deep Multiagent Reinforcement Learning
Hongyao Tang,Jianye Hao,Tangjie Lv,Yingfeng Chen,Zongzhang Zhang,Hangtian Jia,Chunxu Ren,Yan Zheng,Changjie Fan,Li Wang
4+阅读 · 2018年9月25日
Tambet Matiisen,Aqeel Labash,Daniel Majoral,Jaan Aru,Raul Vicente
4+阅读 · 2018年5月21日
Ermo Wei,Drew Wicke,David Freelan,Sean Luke
10+阅读 · 2018年4月25日
Xingping Dong,Jianbing Shen,Yu Liu,Wenguan Wang,Fatih Porikli
9+阅读 · 2018年3月17日
Top