【ACMMM2020】面向目标的视觉对话的应答驱动视觉状态估计器

面向目标的视觉对话包括两个代理者，提问者和Oracle之间的多回合交互。在此期间，Oracle给出的答案是非常重要的，因为它为提问者所关心的问题提供了黄金回答。在回答的基础上，提问者更新了对目标视觉内容的信念，进而提出了另一个问题。值得注意的是，不同的答案会导致不同的视觉信念和未来问题。但是，现有的方法往往是在问题长得多的情况下对答案进行不加区分的编码，导致对答案的利用率较低。在本文中，我们提出了一个答案驱动的视觉状态估计器(ADVSE)，以施加不同的答案对视觉状态的影响。首先，我们提出了一种基于回答驱动的聚焦注意力(ADFA)，通过在每个回合强化与问题相关的注意力并通过基于回答的逻辑操作来调整注意力，来捕捉对视觉注意力的回答驱动效应。然后在聚焦注意力的基础上，通过条件视觉信息融合(CVIF)对问题-应答状态进行融合，得到整体信息和差异信息的视觉状态估计。

https://www.zhuanzhi.ai/paper/b5a7d7470b5a493f6ee7f6d38bfc16c2

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“ADVSE” 可以获取《【ACMMM2020】面向目标的视觉对话的应答驱动视觉状态估计器》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源