【CVPR2022】GaTector:凝视对象预测的统一框架

2022 年 3 月 24 日 专知

凝视行为是人类社会行为的一个重要方面,具有很强的研究意义,但针对该任务缺乏一个统一的解决框架。一个直观的解决方案是在现有的视线估计方法中加入一个目标检测分支。然而,现有的视线估计方法通常使用两个不同的网络来提取场景和头部图像中的特征,这将导致网络结构过于复杂并阻止每个分支的联合优化。

https://www.zhuanzhi.ai/paper/bc53529bc71e91a3504fa5162f10a186

为此,论文提出了一个名为GaTector的新框架,以统一的方式解决凝视对象的预测问题。首先本文提出了一个特定-一般-特定(SGS)的特征提取器,利用一个共享的主干来提取场景和头部图像的一般特征。针对不同子网络的特殊性,SGS在共享主干之前引入了两个特定的输入处理层,在共享主干之后引入了三个不同的输出处理层。然后,本文设计了一个新颖的散焦结构,在不丢失信息且无需额外计算量的前提下为目标检测任务生成特定的物体特征。此外,框架引入了能量聚集损失,对不同的子网络完成联合优化。最后,本文提出了一个新的mDAP指标,即使不同边界框之间没有重叠的区域,它也可以揭示不同边界框之间的差异。此框架在GOO数据集上进行的大量实验验证了本文的方法在目标检测、视线估计和凝视物体预测三个任务中的优越性。

CVPR全称IEEE国际计算机视觉与模式识别会议(IEEE Conference on Computer Vision and Pattern Recognition),该会议始于1983年,是人工智能、计算机视觉和模式识别领域的顶级会议。根据谷歌学术公布的 2021 年最新学术期刊和会议影响力排名, CVPR在所有学术刊物中位居第4(超越柳叶刀),仅次于Nature,NEJM和Science。 


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“GaTector” 就可以获取【CVPR2022】GaTector:凝视对象预测的统一框架》专知下载链接

请扫码加入专知人工智能群(长按二维码),或者加专知小助手微信(zhuanzhi02),加入专知主题群(请备注主题类型:AI、NLP、CV、 KG、论文等)交流~

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资源
登录查看更多
0

相关内容

【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
15+阅读 · 2022年3月17日
【CVPR2022】UniVIP:自监督视觉预训练的统一框架
专知会员服务
27+阅读 · 2022年3月16日
【CVPR2022】弱监督目标定位建模为领域适应
专知会员服务
14+阅读 · 2022年3月4日
【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
42+阅读 · 2022年1月6日
专知会员服务
38+阅读 · 2021年5月16日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
36+阅读 · 2021年4月16日
专知会员服务
17+阅读 · 2021年3月16日
【WWW2021】用优化框架解释和统一图神经网络
专知会员服务
44+阅读 · 2021年2月1日
【CVPR2022】ContrastMask:对比学习来分割各种
专知
0+阅读 · 2022年3月21日
【CVPR2022】通过特征Mixing进行主动学习
专知
0+阅读 · 2022年3月15日
【CVPR2022】双曲图像分割
专知
2+阅读 · 2022年3月14日
【CVPR2021】基于Transformer的视频分割领域
专知
2+阅读 · 2021年4月16日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Generalized Out-of-Distribution Detection: A Survey
Arxiv
15+阅读 · 2021年10月21日
Arxiv
16+阅读 · 2021年7月18日
Arxiv
31+阅读 · 2021年3月29日
Arxiv
20+阅读 · 2020年6月8日
VIP会员
相关VIP内容
【CVPR2022】语言引导与基于视觉的深度度量学习的集成
专知会员服务
15+阅读 · 2022年3月17日
【CVPR2022】UniVIP:自监督视觉预训练的统一框架
专知会员服务
27+阅读 · 2022年3月16日
【CVPR2022】弱监督目标定位建模为领域适应
专知会员服务
14+阅读 · 2022年3月4日
【AAAI 2022】跨模态目标跟踪: 模态感知表示和统一基准
专知会员服务
42+阅读 · 2022年1月6日
专知会员服务
38+阅读 · 2021年5月16日
【CVPR2021】基于Transformer的视频分割领域
专知会员服务
36+阅读 · 2021年4月16日
专知会员服务
17+阅读 · 2021年3月16日
【WWW2021】用优化框架解释和统一图神经网络
专知会员服务
44+阅读 · 2021年2月1日
相关基金
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2010年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员