视觉感知受到注意力集中的严重影响。由于有限的资源,众所周知,神经表征偏向于出席地点。利用同时进行的眼球追踪和功能性磁共振成像(fMRI)记录了大量人类观看电影的对象,我们首次证明了利用注视信息,以注意掩蔽的形式,可以显著提高神经编码模型中大脑反应预测的准确性。接下来,我们提出了一种新的神经编码方法,包括一个可训练的软注意模块。利用我们的新方法,我们证明了仅仅依靠fMRI反应数据,而不依赖任何眼球追踪,通过端到端学习来学习视觉注意力策略是可能的。有趣的是,我们发现该模型在独立数据上估计的注意力位置与相应的注视模式非常一致,尽管没有明确的监督。总之,这些发现表明,注意力模块可以在视觉刺激的神经编码模型中发挥作用。

成为VIP会员查看完整内容
0
31

相关内容

我们解决了监督学习的特征化和寻找最优表示的问题。传统上,这个问题通过使用信息瓶颈来解决,即压缩输入,同时保留关于目标的信息,这种方式与解码器无关。然而,在机器学习中,我们的目标不是压缩而是泛化,这与我们感兴趣的预测族或译码器(例如线性分类器)密切相关。我们提出了可解码信息瓶颈(DIB),它从预期预测族的角度考虑信息的保留和压缩。因此,DIB产生了预期测试性能方面的最优表示,并且可以在保证的情况下进行估计。实验表明,该框架可以在下游分类器上施加一个小的泛化间隙,并预测神经网络的泛化能力。

https://www.zhuanzhi.ai/paper/89c6cd33631078ee766b8b8dc409a503

成为VIP会员查看完整内容
0
11

题目: Self-supervised Equivariant Attention Mechanism for Weakly Supervised Semantic Segmentation

摘要: 图像级弱监督语义分割是近年来深入研究的一个具有挑战性的问题。大多数高级解决方案都利用类激活映射(CAM)。然而,由于监督的充分性和弱监督的差距,CAMs很难作为目标掩模。在这篇论文中,我们提出了一个自我监督的等变注意机制(SEAM)来发现额外的监督并缩小差距。我们的方法是基于等方差是完全监督语义分割的一个隐含约束,其像素级标签在数据扩充过程中与输入图像进行相同的空间变换。然而,这种约束在图像级监控训练的凸轮上丢失了。因此,我们提出了对不同变换图像的预测凸轮进行一致性正则化,为网络学习提供自监督。此外,我们提出了一个像素相关模块(PCM),它利用上下文外观信息,并改进当前像素的预测由其相似的邻居,从而进一步提高CAMs的一致性。在PASCAL VOC 2012数据集上进行的大量实验表明,我们的方法在同等监督水平下表现优于最先进的方法。

成为VIP会员查看完整内容
0
47

为了更好的用户体验和业务效能,点击率(CTR)预测一直是电子商务中最重要的任务之一。虽然已经提出了大量的CTR预测模型,但从多模态特征中学习项目的良好表示仍然较少研究,因为电子商务中的一个项目通常包含多个异质模态。以往的作品要么将多个模态特征串联起来,相当于给每个模态一个固定的重要性权重;或者通过注意力机制等技术学习不同项目不同模式的动态权重。然而,一个问题是,通常存在跨多个模态的公共冗余信息。利用冗余信息计算不同模态的动态权值,可能不能正确反映不同模态的不同重要性。为了解决这个问题,我们通过考虑模态特性和模态不变特性来探索模态的互补性和冗余性。针对CTR预测任务,我们提出了一种新的多模态对抗表示网络(MARN)。多模态注意网络首先根据每个项目的模态特征计算其多模态的权重。然后,一个多模态对抗网络学习模态不变表示,在此基础上引入双鉴别器策略。最后,我们将模态特定表示与模态不变表示相结合,实现了多模态项表示。我们在公共数据集和工业数据集上进行了大量的实验,所提出的方法不断地对最先进的方法进行显著的改进。此外,该方法已应用于实际的电子商务系统,并在网上进行了A/B测试,进一步证明了该方法的有效性。

成为VIP会员查看完整内容
0
39
小贴士
相关资讯
大脑通过统计推理表征“自我”
人工智能学家
6+阅读 · 2019年9月4日
Transformer-XL:释放注意力模型的潜力
谷歌开发者
31+阅读 · 2019年2月19日
通过视频着色进行自监督跟踪
谷歌开发者
3+阅读 · 2018年7月11日
深度学习中的注意力机制
人工智能头条
11+阅读 · 2017年11月2日
相关论文
Look-into-Object: Self-supervised Structure Modeling for Object Recognition
Mohan Zhou,Yalong Bai,Wei Zhang,Tiejun Zhao,Tao Mei
11+阅读 · 2020年3月31日
Object-Oriented Video Captioning with Temporal Graph and Prior Knowledge Building
Fangyi Zhu,Jenq-Neng Hwang,Zhanyu Ma,Jun Guo
3+阅读 · 2020年3月12日
Talking-Heads Attention
Noam Shazeer,Zhenzhong Lan,Youlong Cheng,Nan Ding,Le Hou
11+阅读 · 2020年3月5日
Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation
Risto Vuorio,Shao-Hua Sun,Hexiang Hu,Joseph J. Lim
20+阅读 · 2019年10月30日
MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation
Hoyeop Lee,Jinbae Im,Seongwon Jang,Hyunsouk Cho,Sehee Chung
26+阅读 · 2019年7月31日
Naihan Li,Shujie Liu,Yanqing Liu,Sheng Zhao,Ming Liu,Ming Zhou
3+阅读 · 2018年11月13日
Jian Li,Zhaopeng Tu,Baosong Yang,Michael R. Lyu,Tong Zhang
8+阅读 · 2018年10月24日
Shotaro Shiba Funai,Dimitrios Giataganas
3+阅读 · 2018年10月18日
Next Item Recommendation with Self-Attention
Shuai Zhang,Yi Tay,Lina Yao,Aixin Sun
4+阅读 · 2018年8月25日
Xin Wang,Yuan-Fang Wang,William Yang Wang
5+阅读 · 2018年4月15日
Top