Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。

VIP内容

论文链接:https://arxiv.org/abs/2109.06620 代码链接:https://github.com/jianzhangcs/DAGL 作者单位:北京大学深圳研究生院 & 鹏城实验室

自然图像中的非局部自相似性已被证实是图像恢复的有效先验。然而,大多数现有的深度非局部方法为每个查询项分配固定数量的邻域块,忽略了非局部相关性的动态。此外,非局部相关性通常基于像素,容易因图像退化而产生偏差。为了纠正这些弱点,在本文中,我们提出了一种动态注意图学习模型(DAGL)来探索图像恢复块级别的动态非局部属性。具体来说,我们提出了一种改进的图模型,以对每个节点具有动态和自适应数量的邻居执行逐块图卷积。通过这种方式,图像内容可以通过其连接的邻域的数量自适应地平衡过度平滑和过度锐化的伪影,并且块方式的非局部相关性可以增强消息传递过程。各种图像恢复任务的实验结果:合成图像去噪、真实图像去噪、图像去马赛克和压缩伪影减少表明,我们的 DAGL 可以产生具有卓越精度和视觉质量的最新结果。

成为VIP会员查看完整内容
0
7

最新论文

High-quality arguments are an essential part of decision-making. Automatically predicting the quality of an argument is a complex task that recently got much attention in argument mining. However, the annotation effort for this task is exceptionally high. Therefore, we test uncertainty-based active learning (AL) methods on two popular argument-strength data sets to estimate whether sample-efficient learning can be enabled. Our extensive empirical evaluation shows that uncertainty-based acquisition functions can not surpass the accuracy reached with the random acquisition on these data sets.

0
0
下载
预览
子主题
Top