视觉感知受到注意力集中的严重影响。由于有限的资源,众所周知,神经表征偏向于出席地点。利用同时进行的眼球追踪和功能性磁共振成像(fMRI)记录了大量人类观看电影的对象,我们首次证明了利用注视信息,以注意掩蔽的形式,可以显著提高神经编码模型中大脑反应预测的准确性。接下来,我们提出了一种新的神经编码方法,包括一个可训练的软注意模块。利用我们的新方法,我们证明了仅仅依靠fMRI反应数据,而不依赖任何眼球追踪,通过端到端学习来学习视觉注意力策略是可能的。有趣的是,我们发现该模型在独立数据上估计的注意力位置与相应的注视模式非常一致,尽管没有明确的监督。总之,这些发现表明,注意力模块可以在视觉刺激的神经编码模型中发挥作用。

成为VIP会员查看完整内容
0
27

相关内容

目前流行的图学习方法需要丰富的标签和边信息进行学习。「当新任务的数据稀缺时,元学习允许我们从以前的经验中学习」,并形成急需的归纳偏见,以便快速适应新任务。

此文介绍了「G-META,一种新的图的元学习方法:」

G-META 使用局部子图传递特定于子图的信息,并通过元梯度使模型更快地学习基本知识。 G-META 学习如何仅使用新任务中的少数节点或边来快速适应新任务,并通过学习其他图或相关图(尽管是不相交的标签集)中的数据点来做到这一点。 G-META 在理论上是合理的,因为「特定预测的证据可以在目标节点或边周围的局部子图中找到。」

现有方法是专门为特定的图元学习问题和特定的任务设计的专门技术。虽然这些方法为 GNN 中的元学习提供了一种很有前途的方法,但它们的特定策略没有很好的伸缩性,也不能扩展到其他图的元学习问题(图1)。

成为VIP会员查看完整内容
0
24

由于语料库的缺乏,在自然语言处理(NLP)的神经注意机制中整合人类凝视数据作为监督信号方面的进展有限。我们提出了一种新的混合文本显著性模型(TSM),这是第一次将阅读的认知模型与明确的人类注视监督结合在一个单一的机器学习框架中。在四个不同的语料库上,我们证明了我们的混合TSM持续时间预测与人类凝视地面真相高度相关。我们进一步提出了一种新的联合建模方法,将TSM预测集成到为特定上游NLP任务而设计的网络的注意层中,而不需要任何特定任务的人类凝视数据。我们证明,在BLEU-4中,我们的联合模型在Quora问题对语料库上的释义生成比目前的水平高出10%以上,并且在具有挑战性的谷歌句子压缩语料库上实现了最先进的句子压缩性能。因此,我们的工作引入了一种连接数据驱动和认知模型的实用方法,并展示了一种将人类注视引导的神经注意整合到NLP任务中的新方法。

https://arxiv.org/abs/2010.07891

成为VIP会员查看完整内容
0
9

虽然BERT等大规模的预训练语言模型在各种自然语言理解任务上取得了巨大的成功,但如何高效、有效地将它们合并到序列到序列模型和相应的文本生成任务中仍然是一个不容忽视的问题。为了解决这个问题,我们提出采用两种不同的BERT模型分别作为编码器和解码器,并通过引入简单的和轻量级的适配器模块对它们进行微调,这些适配器模块插入到BERT层之间,并针对特定的任务数据集进行调优。这样,我们得到了一个灵活高效的模型,它能够联合利用源端和目标端BERT模型中包含的信息,同时绕过了灾难性遗忘问题。框架中的每个组件都可以看作是一个插件单元,使得框架灵活且任务不相关。该框架基于并行序列译码算法掩模预测,考虑了BERT算法的双向和条件独立性,易于适应传统的自回归译码。我们在神经机器翻译任务上进行了广泛的实验,在实验中,所提出的方法始终优于自回归基线,同时将推理延迟减少了一半,并且在IWSLT14德语-英语/WMT14德语-英语翻译中达到36.49/33.57的BLEU分数。当采用自回归译码时,该方法在WMT14英-德/英-法翻译中的BLEU得分达到30.60/43.56,与最先进的基线模型相当。

https://arxiv.org/abs/2010.06138

成为VIP会员查看完整内容
0
8

最近,在自然语言处理(NLP)中构建通用语言模型(如谷歌的Bert和OpenAI的GPT-2)用于文本特征提取的新范式出现了。对于下游建模,已经出现并开始在各种下游NLP任务和现实世界系统(例如,谷歌的搜索引擎)中发现它的应用。为了获得通用的文本嵌入,这些语言模型具有高度复杂的体系结构,具有数百万个可学习的参数,通常在使用之前对数十亿个句子进行预处理。众所周知,这种做法确实提高了许多下游NLP任务的最新性能。但是,改进的实用程序不是免费的。我们发现,通用语言模型中的文本嵌入会从纯文本中捕获很多敏感信息。一旦被对手访问,嵌入信息可以被反向设计,以披露受害者的敏感信息,以进行进一步的骚扰。尽管这样的隐私风险可能会对这些有前途的NLP工具的未来影响造成真正的威胁,但是目前还没有针对主流行业级语言模型的公开攻击或系统评估。为了弥补这一差距,我们首次系统地研究了8种最先进的语言模型和4个不同的案例。通过构建两个新的攻击类,我们的研究表明上述隐私风险确实存在,并可能对通用语言模型在身份、基因组、医疗保健和位置等敏感数据上的应用造成实际威胁。例如,当我们从病人的医疗描述的Bert embeddings中推断出精确的疾病位置时,我们向几乎没有先验知识的对手展示了大约75%的准确性。作为可能的对策,我们提出了4种不同的防御(通过舍入、差异隐私、对抗性训练和子空间投影)来混淆无保护的嵌入,以达到缓解的目的。在广泛评估的基础上,我们还对每一种防御所带来的效用-隐私权衡进行了初步分析,希望能对未来的缓解研究有所帮助。

成为VIP会员查看完整内容
0
12

医疗机器人已经证明了操作经皮器械进入软组织解剖的能力,同时工作超越人类感知和灵活性的极限。机器人技术进一步提供了在资源有限的情况下以最少的监督完成关键任务的自主性。在这里,我们提出了一种便携式机器人设备,能够将针头和导管引入可变形的组织,如血管,以自主地抽血或输送液体。机器人插管是由一系列深度卷积神经网络的预测驱动的,这些神经网络从多模态图像序列中编码时空信息来指导实时伺服。通过对志愿者的成像和机器人跟踪研究,我们证明了该设备在存在解剖变异和运动的情况下,对周围血管进行分割、分类、定位和跟踪的能力。然后,我们评估了机器人在幻肢和动物模型中难以获得血管的性能,并表明,与训练有素的操作员手工插管相比,该设备可以提高成功率和操作时间,特别是在具有挑战性的生理条件下。这些结果表明,自主系统有可能在复杂的视觉运动任务上超越人类,并展示了将这些能力转化为临床应用的一个步骤。

成为VIP会员查看完整内容
0
9
小贴士
相关论文
Inverse Visual Question Answering with Multi-Level Attentions
Yaser Alwatter,Yuhong Guo
4+阅读 · 2019年9月17日
Hang Yan,Xipeng Qiu,Xuanjing Huang
4+阅读 · 2019年4月9日
Zhongdao Wang,Liang Zheng,Yali Li,Shengjin Wang
16+阅读 · 2019年3月27日
Marek Rei,Anders Søgaard
3+阅读 · 2018年11月14日
Jian Li,Zhaopeng Tu,Baosong Yang,Michael R. Lyu,Tong Zhang
6+阅读 · 2018年10月24日
Xiangteng He,Yuxin Peng
3+阅读 · 2018年4月26日
Tran Dang Quang Vinh,Tuan-Anh Nguyen Pham,Gao Cong,Xiao-Li Li
9+阅读 · 2018年4月18日
Yang Shi,Tommaso Furlanello,Sheng Zha,Animashree Anandkumar
5+阅读 · 2018年4月6日
Yan Zhang,Jonathon Hare,Adam Prügel-Bennett
10+阅读 · 2018年2月15日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
6+阅读 · 2018年2月4日
Top