近年来,规模在自然语言处理的快速发展中发挥了核心作用。虽然基准测试被越来越大的模型所主导,但高效的硬件使用对于它们的广泛采用和该领域的进一步发展至关重要。在这个尖端的教程中,我们将概括自然语言处理的最先进技术。在建立这些基础之后,我们将介绍广泛的提高效率的技术,包括知识蒸馏、量化、修剪、更高效的架构,以及案例研究和实际实现技巧。

https://2020.emnlp.org/tutorials

成为VIP会员查看完整内容
0
36

相关内容

贝叶斯概率模型为不确定性下的相干推理和预测提供了一个原则框架。近似推理解决了贝叶斯计算的关键挑战,即计算棘手的后验分布和相关数量,如贝叶斯预测分布。近十年来,贝叶斯建模技术在计算机视觉、自然语言处理、强化学习等领域的机器学习任务中得到了广泛应用。

本教程对近似推理的最新进展进行了一个连贯的总结。我们将以介绍近似推理的概念和变分推理的基础知识开始本教程。然后我们将描述现代近似推理的基本方面,包括可扩展推理、蒙特卡洛技术、平摊推理、近似后验设计和优化目标。这些最新进展之间的联系也将被讨论。最后,我们将在下游不确定性估计和决策任务中的应用实例提供先进的近似推理技术,并对未来的研究方向进行讨论。

成为VIP会员查看完整内容
0
21

涵盖了主要技术,在压缩、扩展中的使用,以及许多未预料到的用例(例如攻击、NAT、传输)

https://slideslive.com/38940102

成为VIP会员查看完整内容
0
24

自然语言处理中的预训练模型

论文:【复旦大学】最新《预训练语言模型》2020综述论文大全,50+PTMs分类体系,25页pdf205篇参考文献

目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。

视频: https://hub.baai.ac.cn/view/3868

成为VIP会员查看完整内容
0
48

自然语言处理中的预训练模型

论文:【复旦大学】最新《预训练语言模型》2020综述论文大全,50+PTMs分类体系,25页pdf205篇参考文献

目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容:1)预训练模型的原理介绍,包括模型结构、学习准则、发展历程等;2)预训练模型的迁移方法:包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能;3)预训练模型的改进模型:包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等;4)对预训练模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
0
60

自然语言处理中的自注意力模型

目前自注意力模型(比如Transformer)在自然语言处理领域取得了广泛的成功。本报告主要介绍自注意力模型方面的一些工作,主要涵盖两部分内容:1)Transformer及其改进模型:通过分析Transformer的基本原理和优缺点,提出一些改进模型Star-Transformer、Multi-Scale Transformer、BP-Transformer等。2)Transformer模型的应用:将Transformer模型应用在文本分类、实体名识别等自然语言任务上,并通过针对性的改进来进一步提高性能。最后,对Transformer模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
0
89

【导读】DeepMind开设了一系列深度学习课程。本次课讲述了深度学习计算机视觉。

继上一讲之后,DeepMind研究科学家Viorica Patraucean介绍了图像分类之外的经典计算机视觉任务(目标检测、语义分割、光流估计),并描述了每种任务的最新模型以及标准基准。她讨论了视频处理任务的类似模型,如动作识别、跟踪和相关挑战。她特别提到了最近提高视频处理效率的工作,包括使用强化学习的元素。接下来,她介绍了单模态和多模态(vision+audio, visio+language)自监督学习的各种设置,在这些设置中,大规模学习是有益的。最后,Viorica讨论了视觉中的开放问题,以及计算机视觉研究在构建智能代理这一更广泛目标中的作用。

成为VIP会员查看完整内容
0
84

深度神经网络最近展示了其解决复杂任务的惊人能力。如今的模型使用功能强大的GPU卡在数百万个示例上进行训练,能够可靠地对图像进行注释、翻译文本、理解口语或玩国际象棋或围棋等战略性游戏。此外,深度学习也将成为未来许多技术的组成部分,例如自动驾驶、物联网(IoT)或5G网络。特别是随着物联网的出现,智能设备的数量在过去几年里迅速增长。这些设备中有许多都配备了传感器,使它们能够以前所未有的规模收集和处理数据。这为深度学习方法提供了独特的机会。

然而,这些新的应用程序带有许多附加的约束和要求,这些约束和要求限制了当前模型的开箱即用。

1. 嵌入式设备、物联网设备和智能手机的内存和存储容量有限,能源资源有限. 像VGG-16这样的深度神经网络需要超过500 MB的内存来存储参数,执行单次向前传递需要15 gb的操作。很明显,这些模型的当前(未压缩的)形式不能在设备上使用。

2. 训练数据通常分布在设备上,由于隐私问题或有限的资源(带宽),无法简单地在中央服务器上收集. 由于只有少量数据点的模型的局部训练通常不太有希望,因此需要新的协作训练方案来将深度学习的能力引入这些分布式应用程序。

本教程将讨论最近提出的解决这两个问题的技术。我们将首先简要介绍深度学习,它的当前使用和今天的模型在计算和内存复杂性、能源效率和分布式环境方面的局限性。我们将强调解决这些问题的实际需要,并讨论实现这一目标的最新进展,包括ITU ML5G和MPEG AHG CNNMCD正在开展的标准化活动。

然后我们将进入神经网络压缩的话题。我们将首先简要介绍源编码和信息论的基本概念,包括速率失真理论、量化、熵编码和最小描述长度原则。这些概念需要形式化的神经网络压缩问题。然后我们将继续讨论压缩DNNs的具体技术。为此,我们将区分压缩过程的不同步骤,即剪枝和稀疏化、量化和熵编码。前两步是有损的,而最后一步是无损的。由于缩小尺寸并不是神经网络压缩的唯一目标(例如,快速推理、能源效率是其他目标),我们还将讨论有效推理的方法,包括最近提出的神经网络格式。最后,我们将介绍一个用例,即设备上的语音识别,演示如何在实际应用中使用压缩方法。

最后我们将介绍分布式学习的最新发展。我们提出了不同的分布式训练场景,并根据它们的通信特性进行了比较。接下来,我们将重点讨论联邦学习。我们列举了联邦学习中存在的挑战——通信效率、数据异构性、隐私、个性化、健壮性——并提出了解决这些挑战的方法。我们特别关注为减少分布式学习中的通信开销而提出的技术,并讨论集群化FL,这是一种与模型无关的分布式多任务优化的新方法。这里我们将强调本教程第一部分中介绍的概念的相似性,即稀疏化、量化和编码。

目录:

  1. 介绍
  • 目前使用的深度学习
  • 现有模型和新应用的实际局限性
  • 研究、工业和标准化方面的最新发展
  1. 神经网络压缩
  • 背景:资料编码、信息论
  • 修剪和稀疏化方法
  • 量化和定点推理
  • 神经网络格式
  • 用例研究:设备上的语音识别

3.问题 4. 休息时间 5. 分布式学习

  • 背景:SGD,学习理论
  • 联邦和分布式学习的基本概念
  • 减少通信开销和连接到NN压缩
  • 联邦学习和差异隐私
  • 集群联合学习
  1. 问题
成为VIP会员查看完整内容
0
58

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
125

题目: 自然语言处理中的表示学习进展:从Transfomer到BERT

报告人: 邱锡鹏 博士 复旦大学

摘要: 目前全连接自注意力模型(比如Transformer)在自然语言处理领域取得了广泛的成功。本报告主要介绍我们在自注意力模型方面的一些工作,主要涵盖两部分内容:1)Transformer及其改进模型:通过分析Transformer的基本原理和优缺点,提出一些改进模型Star-Transformer、Multi-Scale Transformer等。2)预训练的Transformer模型的迁移方法:虽然预训练的Transformer模型(比如BERT、GPT等)在很多自然语言任务上都取得了非常好的性能,我们通过任务转换、继续预训练、多任务学习等方法来进一步提高其迁移能力。最后,对Transformer模型及其未来发展趋势进行展望。

成为VIP会员查看完整内容
20191104-MLA2019-自然语言处理中的表示学习进展:从Transfomer到BERT.pdf
0
67

在过去的几年里,自然语言处理领域由于深度学习模型的大量使用而得到了发展。这份综述提供了一个NLP领域的简要介绍和一个快速的深度学习架构和方法的概述。然后,筛选了大量最近的研究论文,并总结了大量相关的贡献。NLP研究领域除了计算语言学的一些应用外,还包括几个核心的语言处理问题。然后讨论了目前的技术水平,并对该领域今后的研究提出了建议。

成为VIP会员查看完整内容
0
128
小贴士
相关VIP内容
专知会员服务
21+阅读 · 2020年12月11日
专知会员服务
24+阅读 · 2020年11月21日
专知会员服务
125+阅读 · 2020年3月6日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
128+阅读 · 2019年10月12日
相关资讯
【自然语言处理】清华刘知远55页自然语言处理PPT
产业智能官
15+阅读 · 2019年8月23日
自然语言处理中注意力机制综述
Python开发者
10+阅读 · 2019年1月31日
基于深度学习的文本生成【附217页PPT下载】
专知
23+阅读 · 2018年11月24日
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
人工智能前沿讲习班
3+阅读 · 2018年11月15日
自然语言处理(NLP)前沿进展报告
人工智能学家
18+阅读 · 2018年9月30日
自然语言处理(NLP)前沿进展报告(PPT下载)
相关论文
Kai Han,Yunhe Wang,Hanting Chen,Xinghao Chen,Jianyuan Guo,Zhenhua Liu,Yehui Tang,An Xiao,Chunjing Xu,Yixing Xu,Zhaohui Yang,Yiman Zhang,Dacheng Tao
10+阅读 · 2020年12月23日
Tao Jin,Siyu Huang,Ming Chen,Yingming Li,Zhongfei Zhang
3+阅读 · 2020年7月23日
Seongjun Yun,Minbyul Jeong,Raehyun Kim,Jaewoo Kang,Hyunwoo J. Kim
8+阅读 · 2020年2月5日
Chence Shi,Minkai Xu,Zhaocheng Zhu,Weinan Zhang,Ming Zhang,Jian Tang
7+阅读 · 2020年1月26日
Question Generation by Transformers
Kettip Kriangchaivech,Artit Wangperawong
3+阅读 · 2019年9月14日
Universal Transformers
Mostafa Dehghani,Stephan Gouws,Oriol Vinyals,Jakob Uszkoreit,Łukasz Kaiser
3+阅读 · 2019年3月5日
Star-Transformer
Qipeng Guo,Xipeng Qiu,Pengfei Liu,Yunfan Shao,Xiangyang Xue,Zheng Zhang
3+阅读 · 2019年2月28日
Music Transformer
Cheng-Zhi Anna Huang,Ashish Vaswani,Jakob Uszkoreit,Noam Shazeer,Ian Simon,Curtis Hawthorne,Andrew M. Dai,Matthew D. Hoffman,Monica Dinculescu,Douglas Eck
4+阅读 · 2018年12月12日
Xiang Long,Chuang Gan,Gerard de Melo,Jiajun Wu,Xiao Liu,Shilei Wen
4+阅读 · 2017年11月27日
Zhouhan Lin,Minwei Feng,Cicero Nogueira dos Santos,Mo Yu,Bing Xiang,Bowen Zhou,Yoshua Bengio
22+阅读 · 2017年3月9日
Top